发生了什么

换电柜是给用户换电池的设备,柜体分成多个格口,每个格口里放一块电池,格口上的电池仓门由柜子控制打开。仓门打不开,这个格口就没法正常取放电池。

系统里跟格口故障有关的有两个对象。一个是风险识别记录:识别到某个位置运行异常时,系统登记一条记录,写明是哪台柜子、哪个位置、什么异常,状态先是“未处理”。另一个是故障工单:同一条流程判断这次异常需要人到现场处理,就调用工单服务建一张故障工单,派给运维。正常流程是:识别到异常,登记风险识别记录,同时建一张故障工单;运维处理完,工单变成已完成,对应的风险识别记录也应该跟着结束,表示这个位置的这次异常已经处理过。这样同一位置以后再出问题,才会重新登记、重新建单。

这次的情况是:反馈里说某台电柜的一个格口电池仓打不开,但系统里查不到对应的故障工单,运维没有收到这条派单,只能靠人工反馈再去找人处理。影响多少台柜子、持续多久,记录里没有统计。

本质

问题出在两套记录的状态没有接上:工单完结了,对应的风险识别记录还停在未处理,而后面建不建单,恰恰要看这条记录的状态。

  1. 工单这一侧只做自己的事:运维处理完,工单服务把状态改成已完成,同时向外发一条“工单已完结”的消息。它不知道风险识别记录的存在,也不会去改那条记录。
  2. 风险识别这一侧本来应该接收这条消息,按工单找到对应的风险记录,把状态改成已处理。但两边一直没有接上,这条消息没有程序消费,记录就一直停在未处理。
  3. 下一次同一个位置再被识别出异常时,流程先查这里有没有未处理的记录,用来避免重复建单。查到的还是很久以前那条未处理记录,程序判断“已经在处理了”,直接返回,不再调用工单创建。
  4. 结果是新故障既没有建出新工单,也没有留下新的待处理记录;挡住建单的那次处理其实早就结束了。运维侧看不到待办,格口故障就一直没人接。

判断要不要建单,靠的是风险记录自己的状态;工单完结后这个状态不会变,一条旧记录就把后面所有建单都挡住了。

记录里给出的处理方式是:让风险识别服务消费工单完结消息,按工单找到对应风险记录并改状态;已经卡住的存量数据要人工处理。改动是否上线、上线后是否验证,记录没有写明。

下面的代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现。

错误代码

// 风险识别服务:识别到格口异常后,决定要不要建故障工单(脱敏教学示例)
public void onRiskIdentified(RiskRecord current) {
    RiskRecord last = riskRecordMapper.findLatest(
            current.getCabinetNo(), current.getSlotNo());
    // 为什么错:判断“是否已在处理”只看风险记录自己的状态,
    // 而这个状态没有任何程序会推进,一旦是未处理就永远命中
    if (last != null && last.getStatus() == RiskStatus.PENDING) {
        return;                       // 上一条永远未处理,这里永远直接返回
    }
    String orderNo = faultOrderClient.create(current);
    current.setOrderNo(orderNo);      // 示意:建单后回写工单号
    riskRecordMapper.insert(current);
}

// 故障工单服务:完结时改自己库里的状态并发消息
public void finish(String orderNo) {
    faultOrderMapper.updateStatus(orderNo, OrderStatus.FINISHED);
    mqPublisher.send(TOPIC_ORDER_FINISHED, orderNo);
    // 为什么错:完结消息没有消费方,风险记录状态没人改
}

修复代码示例

// 风险识别服务:订阅工单完结消息,把对应风险记录关掉(脱敏教学示例)
@MqConsumer(topic = TOPIC_ORDER_FINISHED)
public void onFaultOrderFinished(FaultOrderFinishedEvent event) {
    // 修复:按工单号做条件更新,重复投递时只有第一次能把未处理改成已处理
    int updated = riskRecordMapper.closeByOrderNo(
            event.getOrderNo(), RiskStatus.PENDING, RiskStatus.CLOSED);
    if (updated == 0) {
        log.info("no pending risk record, order={}", event.getOrderNo());
    }
}

// 建单判断沿用原逻辑,但记录会随工单完结变成已处理,
// 下一次识别不会再被上一条记录挡住(存量未处理数据需单独订正)
public void onRiskIdentified(RiskRecord current) {
    RiskRecord last = riskRecordMapper.findLatest(
            current.getCabinetNo(), current.getSlotNo());
    if (last != null && last.getStatus() == RiskStatus.PENDING) {
        return;
    }
    String orderNo = faultOrderClient.create(current);
    current.setOrderNo(orderNo);
    riskRecordMapper.insert(current);
}

下次遇到这些场景要警惕

  • 给“是否已在处理”加判断时,先列出这个判断依赖哪个字段、由谁在哪一步推进。构造一条“工单已完结、记录仍未处理”的数据,再触发同一位置的新故障,观察系统是否还会建单。
  • 两个对象各有状态时,把状态迁移列成一张表,逐个触发完结、取消、关闭等终态,检查另一侧是否有对应的更新动作;只在一侧推进状态,另一侧就会一直停在中间态。
  • 只补消费、不处理存量时,先统计现存未处理记录的数量和分布,再验证两件事:同一条完结消息重复投递不会改坏数据,修好之后的首次识别能正常建单。
  • 用“存在未处理记录”做防重复时,确认这个条件有没有超时或人工兜底;一条卡住的记录不应该同时挡住同一位置之后的所有故障。