发生了什么
用户到网点换电时,柜里要有对应规格的电池。某个网点某类电池快用完时,系统会生成一张调度工单,让运维把电池从富余的地方调运过来。工单按网格下发,一个网格下辖若干网点,运维照单执行。
算法团队每天用预测模型算出每个网点对各规格电池的需求量,通过离线数据表把需求推给研发侧;研发侧消费后按网格生成调度工单。正常链路是:预测出需求 → 逐规格推送数量 → 研发建单 → 运维补电。
有一批网点长期缺电却始终没有工单。原因是这些网点从来没有某个规格的电池在柜,该类目需求量算出来是 0,而推送环节有一条“长期无该类目电池的网点不推送”的过滤,命中后直接跳过。需求被吞掉,工单也就不会生成,网点越空越没人补电。
为了修掉这个问题,算法侧去掉了这条过滤,让有预测需求的类目都能推出去,本意是让空柜网点也能补上电。
变更上线后,多个城市的调度工单量降到原来的一半以下,部分网点当天所有规格一张工单都没有生成,运维没有单可执行,只能人工建单。故障期间没有直接产生订单损失,缺的是整个补电动作。
本质
问题出在推送报文里代表需求量的那个外层字段:它取的不是合计,而是整条推送中最后一个类目的数量。
- 算法侧按固定顺序把各规格数量装进同一条报文,每装一个就把外层数量覆盖成这个类目的数量。排在最后的类目常常就是 0——有的是以前运营过、现在已不运营的类目,预测值只有零点几,四舍五入后归零;有的是这次新放开、暂时还没有需求的类目。外层数量因此落成 0。
- 研发侧消费时先看外层数量:等于 0 就认为这个网点不需要调度,直接返回,同一条报文里其他规格也不再处理。一个类目的 0 就这样变成了整个网点的“无需求”。
- 这个 0 还被写进一个已经废弃的汇总字段。字段标了废弃,工单生成逻辑却仍在读它:为 0 就把整个网点跳过。两层判断叠在一起,网点所有规格的工单一起消失。
- 放开过滤放大了缺陷。原来被挡在门外的类目现在也能进报文,带进来的 0 更多,命中概率随之升高。
- 发布方式让问题一次铺开。原本按城市灰度,但这次灰度粒度被另一个类目的灰度占着,变更选择了全量发布,没有城市能先跑一天看工单量。告警又只发在群里,消息很快被淹没,等城市把现象反馈上来,当天的工单已经补不回来——网格一旦生成过工单,其下网点就不能再追加,只能人工建单。
一个类目的预测值被舍入成 0,写进外层数量和废弃汇总字段后,被下游当成了“整个网点没有需求”。
修复方向分两层:算法侧的外层数量改成各规格合计,研发侧按规格明细逐条判断,0 只跳过当前类目;同时停止向废弃字段写入,并让工单生成不再读它。临时处置是把外层数量置为非 0,避开研发侧的过滤。修复上线状态待确认。
代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现。
错误代码
// 算法侧:把各规格预测需求打包成一条推送(示意)
DemandPush push = new DemandPush();
for (Map.Entry<String, Integer> e : forecast.entrySet()) {
push.addSpec(e.getKey(), e.getValue());
// 为什么错:外层数量每轮被覆盖,最终取的是最后一个类目的数量
push.setQuantity(e.getValue());
}
// 研发侧:消费推送并生成调度工单
public void consume(long gridId, DemandPush push) {
if (push.getQuantity() == 0) {
// 为什么错:0 被当成“本网点无需求”,同报文其他规格一起被丢掉
return;
}
// 为什么错:仍在写已废弃字段,而建单逻辑又回头读它
legacyDemandDao.save(gridId, push.getQuantity());
orderService.create(gridId, push.getSpecs());
}
public void create(long gridId, List<SpecDemand> specs) {
if (legacyDemandDao.get(gridId) == 0) {
// 为什么错:一个类目的 0 让整个网点所有规格都不建单
return;
}
orderDao.batchInsert(gridId, specs);
}
修复代码示例
// 算法侧:外层数量改为合计,0 值类目照常留在明细里
DemandPush push = new DemandPush();
int total = 0;
for (Map.Entry<String, Integer> e : forecast.entrySet()) {
push.addSpec(e.getKey(), e.getValue());
total += e.getValue();
}
push.setQuantity(total); // 汇总口径,不再被最后一个类目的 0 覆盖
// 研发侧:按明细判断,废弃字段不写也不参与判断
public void consume(long gridId, DemandPush push) {
List<SpecDemand> effective = push.getSpecs().stream()
.filter(s -> s.getQty() > 0) // 0 只跳过当前类目
.collect(Collectors.toList());
if (effective.isEmpty()) {
return; // 确实没有有效类目才整条跳过
}
orderService.create(gridId, effective);
}
废弃字段的写入停掉以后,读侧必须一起改:只要还有人按它为 0 就跳过网点,这个字段就仍然在决定工单生成。另外,消息里不应再用 0 表示“无需求”,需要区分“确实不需要”和“没算出来”,否则 0 会继续被当成失真的信号。
下次遇到这些场景要警惕
- 给跨团队推送改字段取值规则:先把消费方读这个字段做的所有判断列出来,重点找“等于 0 就跳过”这类短路;再用真实数据分别回放 0、空值、零点几的小数。观察一个类目的 0 会不会影响同报文其他类目。
- 放开一条过滤或补推历史缺失数据:先确认下游是否还有标了废弃却仍在读取的字段,写入侧和读取侧分别核对口径;放开后用前一天的数据比对新旧推送条数与工单条数,别只看总量。
- 灰度粒度被别的需求占用:改用网点、比例或可随时关闭的开关分批,而不是直接全量;发布后第一天按城市和网格对比工单量,总数不降不代表局部没丢。
- 链路只靠离线表交互:补一套端到端对账(推送条数对生成工单数),并让丢失的网格能按天重放,否则发现问题也只能人工补单。