发生了什么
换电柜是给用户换电池的设备,柜体分成多个格口,每个格口里放一块电池,格口上的电池仓门由柜子控制打开。仓门打不开,这个格口就没法正常取放电池。
系统里跟格口故障有关的有两个对象。一个是风险识别记录:识别到某个位置运行异常时,系统登记一条记录,写明是哪台柜子、哪个位置、什么异常,状态先是“未处理”。另一个是故障工单:同一条流程判断这次异常需要人到现场处理,就调用工单服务建一张故障工单,派给运维。正常流程是:识别到异常,登记风险识别记录,同时建一张故障工单;运维处理完,工单变成已完成,对应的风险识别记录也应该跟着结束,表示这个位置的这次异常已经处理过。这样同一位置以后再出问题,才会重新登记、重新建单。
这次的情况是:反馈里说某台电柜的一个格口电池仓打不开,但系统里查不到对应的故障工单,运维没有收到这条派单,只能靠人工反馈再去找人处理。影响多少台柜子、持续多久,记录里没有统计。
本质
问题出在两套记录的状态没有接上:工单完结了,对应的风险识别记录还停在未处理,而后面建不建单,恰恰要看这条记录的状态。
- 工单这一侧只做自己的事:运维处理完,工单服务把状态改成已完成,同时向外发一条“工单已完结”的消息。它不知道风险识别记录的存在,也不会去改那条记录。
- 风险识别这一侧本来应该接收这条消息,按工单找到对应的风险记录,把状态改成已处理。但两边一直没有接上,这条消息没有程序消费,记录就一直停在未处理。
- 下一次同一个位置再被识别出异常时,流程先查这里有没有未处理的记录,用来避免重复建单。查到的还是很久以前那条未处理记录,程序判断“已经在处理了”,直接返回,不再调用工单创建。
- 结果是新故障既没有建出新工单,也没有留下新的待处理记录;挡住建单的那次处理其实早就结束了。运维侧看不到待办,格口故障就一直没人接。
判断要不要建单,靠的是风险记录自己的状态;工单完结后这个状态不会变,一条旧记录就把后面所有建单都挡住了。
记录里给出的处理方式是:让风险识别服务消费工单完结消息,按工单找到对应风险记录并改状态;已经卡住的存量数据要人工处理。改动是否上线、上线后是否验证,记录没有写明。
下面的代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现。
错误代码
// 风险识别服务:识别到格口异常后,决定要不要建故障工单(脱敏教学示例)
public void onRiskIdentified(RiskRecord current) {
RiskRecord last = riskRecordMapper.findLatest(
current.getCabinetNo(), current.getSlotNo());
// 为什么错:判断“是否已在处理”只看风险记录自己的状态,
// 而这个状态没有任何程序会推进,一旦是未处理就永远命中
if (last != null && last.getStatus() == RiskStatus.PENDING) {
return; // 上一条永远未处理,这里永远直接返回
}
String orderNo = faultOrderClient.create(current);
current.setOrderNo(orderNo); // 示意:建单后回写工单号
riskRecordMapper.insert(current);
}
// 故障工单服务:完结时改自己库里的状态并发消息
public void finish(String orderNo) {
faultOrderMapper.updateStatus(orderNo, OrderStatus.FINISHED);
mqPublisher.send(TOPIC_ORDER_FINISHED, orderNo);
// 为什么错:完结消息没有消费方,风险记录状态没人改
}
修复代码示例
// 风险识别服务:订阅工单完结消息,把对应风险记录关掉(脱敏教学示例)
@MqConsumer(topic = TOPIC_ORDER_FINISHED)
public void onFaultOrderFinished(FaultOrderFinishedEvent event) {
// 修复:按工单号做条件更新,重复投递时只有第一次能把未处理改成已处理
int updated = riskRecordMapper.closeByOrderNo(
event.getOrderNo(), RiskStatus.PENDING, RiskStatus.CLOSED);
if (updated == 0) {
log.info("no pending risk record, order={}", event.getOrderNo());
}
}
// 建单判断沿用原逻辑,但记录会随工单完结变成已处理,
// 下一次识别不会再被上一条记录挡住(存量未处理数据需单独订正)
public void onRiskIdentified(RiskRecord current) {
RiskRecord last = riskRecordMapper.findLatest(
current.getCabinetNo(), current.getSlotNo());
if (last != null && last.getStatus() == RiskStatus.PENDING) {
return;
}
String orderNo = faultOrderClient.create(current);
current.setOrderNo(orderNo);
riskRecordMapper.insert(current);
}
下次遇到这些场景要警惕
- 给“是否已在处理”加判断时,先列出这个判断依赖哪个字段、由谁在哪一步推进。构造一条“工单已完结、记录仍未处理”的数据,再触发同一位置的新故障,观察系统是否还会建单。
- 两个对象各有状态时,把状态迁移列成一张表,逐个触发完结、取消、关闭等终态,检查另一侧是否有对应的更新动作;只在一侧推进状态,另一侧就会一直停在中间态。
- 只补消费、不处理存量时,先统计现存未处理记录的数量和分布,再验证两件事:同一条完结消息重复投递不会改坏数据,修好之后的首次识别能正常建单。
- 用“存在未处理记录”做防重复时,确认这个条件有没有超时或人工兜底;一条卡住的记录不应该同时挡住同一位置之后的所有故障。