发生了什么
商家端后台支持代客下单:客户在店里选好商品,店员替客户把这笔订单录进系统。录单过程中有一个"升单"动作——客户临时想换成规格更高的商品(价格更贵、配置更好),店员点一下,系统按当前商品找出所有可以替换的更高规格商品,列成候选给店员挑。
这件事由一个商品查询接口负责:入参是原商品,返回若干个规格更高的商品。正常情况下,接口按原商品查一轮候选列表,几百毫秒返回,店员选中一个,订单换成新商品,流程继续。
这次的不同在于候选商品的构成。列表里有一批是组合商品,一个组合商品由 2 个子商品打包组成,要展示给店员看就必须先展开成子商品明细,于是每个组合商品都要额外向商品服务查 3 次。而当次筛出来的候选商品达到上百个,接口在循环里逐个去查,一次请求内累积出几百次下游调用。
上游调用方给这个接口的超时是 1 秒。时间到点,上游判定本次请求超时,随即关闭了这次调用的上下文,调用方不再等待,直接返回超时错误,商家端的升单页面拿不到候选列表。监控上表现为该服务在短时间内连续报错,看起来像服务自身抖动。值得注意的是,这个接口只服务商家端,每天请求量是个位数,平均每秒不到一次——把耗时撑爆的不是并发,而是单次请求内部展开的调用次数。
当时的处理是临时的:把上游调用该接口的超时从 1 秒放宽到 2 秒,按候选约一百个的规模留出余量;同时在商品服务一侧加了限流,避免瞬时调用量压垮下游。接口改造成批量查询排进了后续计划,记录里没有说明是否已经完成。
本质
问题出在"查候选"和"补明细"被放进了同一次请求的同一个循环里。
- 升单接口先按原商品筛出所有规格更高的商品,这一步只查一次,开销可控。
- 候选里有组合商品,程序需要知道它包含哪些子商品,于是在遍历候选的循环体内,对每个组合商品再调用商品服务补齐明细。
- 一个组合商品要调 3 次,循环次数等于候选数量,一百多个候选就展开成约三百次下游调用。
- 这些调用是串行的:前一次返回后才发下一次,每一次的网络往返和下游处理时间直接累加。
- 上游只给了 1 秒预算,串行累加远超这个数,到点后上游关闭调用的上下文,本次请求被判超时并返回失败。
所以错误很具体:一次查询请求在循环里发出了约三百次下游调用,串行耗时超过上游给的 1 秒,请求被判定超时。候选商品的数量并不是异常数据,它本来就是"按规格筛选"的正常结果,只是这段代码把候选数量直接翻译成了调用次数。
超时是按单次请求设的,循环也是按单条数据写的,两者在候选规模变大时必然撞线:调用次数随数据量线性增长,而超时预算不会跟着涨。
修复方向是批量查询:先把所有需要补齐明细的商品编号收集起来(组合商品展开出的子商品编号一并收集),一次调用商品服务批量取回,再在内存里组装候选结果。确实无法批量的场景,要限制一次请求最多展开多少条候选,超出就分批请求或收窄筛选范围。放宽超时和下游限流只能缓解现象——前者把预算从 1 秒挪到 2 秒,候选规模再涨还会撞线;后者保护的是下游,并不会减少本接口发出的调用次数。
错误代码
public List<ProductVO> queryUpgradeProducts(long originProductId) {
// 一次查出上百个候选,数量随筛选条件变化
List<Product> candidates = productMapper.selectHigherSpec(originProductId);
List<ProductVO> result = new ArrayList<>();
for (Product p : candidates) {
ProductVO vo = new ProductVO(p);
if (p.isCombo()) {
// 为什么错:在循环体内逐个远程调用,调用次数 = 候选数 × 3,串行累加
vo.setChildren(productClient.queryChildren(p.getId()));
vo.setSkus(productClient.querySkus(p.getId()));
vo.setPrice(productClient.queryPrice(p.getId()));
}
result.add(vo);
}
// 上百个候选约等于三百次串行调用,远超上游给的 1 秒
return result;
}
修复代码示例
public List<ProductVO> queryUpgradeProducts(long originProductId) {
List<Product> candidates = productMapper.selectHigherSpec(originProductId);
// 修复:先把要补的编号收集齐,用批量接口一次取回,取代 3 × N 次调用
List<Long> comboIds = candidates.stream()
.filter(Product::isCombo)
.map(Product::getId)
.collect(Collectors.toList());
ComboDetail detail = comboIds.isEmpty()
? ComboDetail.empty()
: productClient.batchQueryComboDetail(comboIds);
List<ProductVO> result = new ArrayList<>();
for (Product p : candidates) {
ProductVO vo = new ProductVO(p);
if (p.isCombo()) {
// 只从批量结果里取,循环里不再发起任何远程请求
vo.fill(detail.childrenOf(p.getId()),
detail.skusOf(p.getId()),
detail.priceOf(p.getId()));
}
result.add(vo);
}
return result;
}
下次遇到这些场景要警惕
- 列表接口里出现循环调用下游:先数清一次请求最多展开多少条子查询(候选数量乘以每个候选的调用次数),再对照上游给这个接口的超时,估算最坏情况下的串行耗时;超过预算就改批量接口,而不是先调大超时。
- 组合商品、套餐这种一条记录带若干子项的数据:单独审查补齐子项的那段代码,确认它是每项发一次请求还是一次批量取回;子项数量由业务放大时,风险全部集中在这一段。
- 接口流量很低却频繁超时报错:先看单次请求内部调了多少次下游,再看整体并发;低流量接口大面积超时,通常说明问题在单请求放大,不在流量洪峰。
- 用放宽超时、给下游加限流止血之后:把这两项当临时保护,确认批量改造有排期和验收用例——造一批上百个候选的商品组合,实测一次请求的下游调用次数和耗时。
文中代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现。