发生了什么
换电业务里,用户扫码后电柜打开仓门,取走一颗电池。系统要同时登记一条绑定关系:这颗电池现在归哪个用户使用。电池有使用期限,到期还没还回来,系统会按绑定记录把到期没还的电池找出来,生成一张到期未归还工单,后续按工单跟进这颗电池。
正常一次取电是这样:用户扫码,电柜开仓,用户取走电池,开仓结果以事件的形式回传给绑定服务,绑定记录写成“在用”。之后到期扫描按这批绑定记录筛出到期仍未解除的电池,生成工单。也就是说,这张工单能不能生成,取决于这条绑定记录最后停在哪一步。
这次的情况是,这个电柜里当时只有这一颗电池可用。用户第一次扫码,开仓失败;第二次扫码,等了大约 30 秒,返回的仍然是失败;第三次扫码成功,电池取走了。8 天后有人反馈,这颗电池已经到期未归还,工单却没有生成。
排查后确认,这条绑定记录最后落在“领电失败”上:第二次开仓的失败结果回传时,把记录改成了失败,而第三次已经成功取走电池这件事没有留在记录里。到期扫描按记录状态筛选,筛不到这条,工单自然没有生成。
本质
一句话:绑定记录被一次迟到的失败结果改回了失败,而到期工单只信这条记录,错误就一路落到“工单没生成”。
- 正常情况下,写入顺序和业务顺序一致:开仓成功写成功,开仓失败写失败,用户一次取电只对应一个结局。
- 这次用户重试了两次。第二次开仓的结果不是立即返回的,它等了 30 秒才带着“失败”回来;这 30 秒里,用户已经完成第三次扫码并成功取走电池。
- 绑定服务处理开仓结果时,按事件到达的先后顺序覆盖记录,既没有比对这是第几次开仓,也没有判断记录当前是否已经成功。迟到的失败把“在用”改成了“领电失败”。这一步是真正的错误:记录反映的是最后一个到达的回传,而不是用户最后一次开仓的真实结果。
- 工单侧还有一层放大。到期未归还的判断走离线回流:由一段离线 SQL 从绑定表里筛到期数据。这张绑定表在一次表治理中已经从核心表降级为非核心表,改为消费核心服务维护的绑定关系、异步写入,本身就可能和真实绑定关系对不上。工单程序直接拿这张表当判据,等于把绑定侧的错误原样继承下来,也没有第二处数据可以校正。
- 结果:用户手上确实有这颗电池,系统里这条记录却是失败,扫描条件不成立,工单漏生成,逾期 8 天没有人跟进。
修复方向是两条:把到期未归还依赖的离线回流 SQL 改到正确的绑定关系来源上,不要继续读降级后的异步派生表;绑定记录的写入要按开仓次序做幂等和一致性处理,让迟到的失败结果不能覆盖已经成功的结果。修复上线状态待确认。
错误代码
// 电柜开仓结果回传后更新绑定关系(脱敏教学示例,非事故源码)
@Service
public class BatteryBindService {
// 为什么错:只按事件带来的结果覆盖,不看这是第几次开仓,也不看记录现在是什么状态
@Transactional
public void onOpenResult(OpenResultEvent event) {
BatteryBindRecord record = bindMapper.selectByUserAndBattery(
event.getUserId(), event.getBatteryNo());
if (record == null) {
return;
}
// 为什么错:第二次开仓 30 秒后才回失败,此时第三次已成功取走电池,
// 这条迟到的失败仍然把记录从“在用”改成“领电失败”
record.setStatus(event.isSuccess()
? BindStatus.IN_USE : BindStatus.PICKUP_FAILED);
record.setOpenTime(event.getOpenTime());
bindMapper.updateById(record);
}
// 到期未归还工单的扫描:直接按派生表里的状态筛(脱敏教学示例)
public List<Long> findExpiredNotReturned(LocalDate today) {
// 为什么错:判据只有这张异步派生出来的绑定表,记录被改成失败后这条数据再也筛不出来
return bindMapper.selectUserIdsByStatusAndExpire(
BindStatus.IN_USE, today.minusDays(GRACE_DAYS));
}
}
修复代码示例
// 修复:结局按开仓序号单调落库,工单判断改读权威绑定关系(脱敏教学示例)
@Service
public class BatteryBindService {
@Transactional
public void onOpenResult(OpenResultEvent event) {
// 修复:同一次开仓的回传只处理一次,重复投递直接丢弃
if (!openResultLog.tryMarkHandled(event.getOpenNo())) {
return;
}
// 修复:更新条件带上“记录当前序号不大于本次序号”,
// 迟到的旧结局一行都改不动(UPDATE ... WHERE user_id=? AND open_no<=?)
int updated = bindMapper.updateStatusIfNewer(
event.getUserId(), event.getBatteryNo(), event.getOpenNo(),
event.isSuccess() ? BindStatus.IN_USE : BindStatus.PICKUP_FAILED);
if (updated == 0) {
log.warn("ignore stale open result, openNo={}", event.getOpenNo());
}
}
public List<Long> findExpiredNotReturned(LocalDate today) {
// 修复:判据改读核心服务维护的权威绑定关系,异步派生表只用于展示,不再参与建单
return holdingClient.listUserIdsExpiredBefore(today.minusDays(GRACE_DAYS));
}
}
两段代码改的是同一处:把“按回传到达顺序无条件覆盖记录、工单只读派生表”改成“按开仓序号做条件更新、工单读权威绑定关系”。代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现;方法名、类名、状态枚举与宽限天数均为示意,序号字段的具体实现要按现有绑定表结构落地。
下次遇到这些场景要警惕
- 同一个入口允许用户连续重试时(扫码开仓、提交订单、支付确认):构造“先失败、后成功,并且失败结果迟到”的顺序,观察最终状态落在哪一次结果上;结果事件里带着自增序号,就不要按到达顺序直接覆盖。
- 状态允许从成功改回失败的地方:逐条检查更新语句有没有“只允许前进”的条件,例如只在记录序号不大于本次序号时才写入,或已成功的记录拒收失败结局。
- 下游业务拿异步派生表做判断时(工单、结算、资格校验):把读这张表的业务全部列出来,逐个确认是否有权威来源;派生表延迟或写错时,要有兜底查询和定时核对。
- 只有一颗可用资源的场景(单电池柜、唯一库存):重点验证重试路径,因为用户没有别的选择,会把“失败、再试、成功”这条路径完整走一遍。