发生了什么

电池在网点使用中出现故障或需要保养时,运维会在内部系统提交一条维保记录,写清这颗电池要修什么、由谁处理。维保记录提交后要走审批,审批由流程平台按节点推进;节点状态一变,流程平台就回调业务系统,业务系统按回调更新这条维保记录的状态。维保记录审批完成后,仓库才能凭它办理出库,对应的维保出库单也要跟着推进到下一状态。

正常顺序是:提交后进入审批中,各节点依次通过,最后一个节点通过后流程结束;业务系统收到结束回调,把维保记录置为审批完成,同时在完成分支里创建一张申请单。出库单读到审批完成,再更新自己的状态。这条链路上,审批中只是中间状态,审批完成才是终点。

这次不一样的地方就在最后一个节点。流程平台在这个节点通过后,几乎同时发出了两条回调:一条表示审批中,一条表示审批结束,两条消息的时间戳完全相同。两条回调在业务系统里被并行消费,这一次先消费了审批结束:维保记录被改成审批完成,申请单也建了出来。紧接着消费审批中那条,处理代码没有先确认这条记录是不是已经走到终点,直接按消息把状态写成审批中,落点被标成异常节点,也就是记录状态和流程平台对不上。

流程平台上这条审批已经结束,业务系统里的维保记录却停在审批中,维保出库单等不到审批完成,状态一直没有跟着变。

这条缺陷从 2020 年 4 月起就存在,直到本次排查才定位到回调顺序。确认的影响是维保出库单状态未同步更新;历史数据已订正,代码侧的并发处理在 10 月 16 日上线,上线后的验证结果没有记录。

本质

一句话:同一个审批实例的两条回调几乎同时到达,消费「审批中」的那条没有看记录当前状态,把已经写好的审批完成又改回了审批中。

  1. 原流程只考虑一种到达方式:每个审批节点发一条消息,前一条处理完再处理后一条。完成分支把记录置为审批完成并建申请单,审批中分支记录当前停在哪个节点,两个分支各自都没写错。
  2. 平台的实际行为不同。在最后一个节点通过时,平台把「审批中」和「审批结束」两条消息几乎同时发出,时间戳完全相同。两条消息各自被投递、各自被消费,谁先被处理取决于线程调度,不取决于业务顺序。
  3. 完成分支先执行:维保记录被更新成审批完成,申请单也创建成功。到这一步,记录和平台是一致的。
  4. 出错的一步在审批中分支。它把拿到的消息当成记录的最新状态,直接写成审批中并记下节点,既没有检查当前状态是不是已经审批完成,也没有任何「状态只能往前走」的约束。于是后到的旧状态把先到的终点覆盖掉,记录落到审批中并标成异常节点。
  5. 结果就是两边不一致:平台说审批已结束,业务系统说还在审批中。维保出库单要等审批完成才推进自己的状态,等不到就一直停在原状态,一条已经审批通过的维保卡在出库前。
  6. 为什么一直没被发现:单看每条消息的处理都对,错在默认同一审批实例的消息会按顺序、串行到达;日常造数据通常一个节点一条消息,很难碰到两条同时到达,缺陷因此留到这次排查。

修复方向是给状态加推进约束:消费「审批中」时先看当前状态,已是审批完成就不再处理。只做「先查一次再写」仍有窗口——两个消费者可能同时读到审批中,所以判断要落在带条件的更新里,只有当前状态不是审批完成才允许写成审批中,并按审批实例串行消费。另一条路是让流程平台只发结束节点的消息,记录里提到平台支持这个配置,但那要先确认业务确实不需要感知中间节点。记录里说明最终按前一种方案改了代码,历史数据也已订正;上线后的效果验证没有写在记录里。

错误代码

// 维保审批回调消费(脱敏教学示例)
public class MaintenanceApprovalCallbackConsumer {

    public void onCallback(ApprovalCallback callback) {
        MaintenanceBill bill = billMapper.selectByFlowId(callback.getFlowId());

        if (NODE_APPROVING.equals(callback.getNodeStatus())) {
            // 为什么错:不看记录当前状态,直接按这条消息写成审批中
            bill.setStatus(BILL_APPROVING);
            bill.setAbnormalNode(callback.getNodeId());
            billMapper.updateById(bill);
            return;
        }

        if (NODE_FINISHED.equals(callback.getNodeStatus())) {
            bill.setStatus(BILL_APPROVED);
            billMapper.updateById(bill);
            // 完成分支照旧建申请单
            applyOrderService.create(bill);
        }
    }
}

修复代码示例

// 同一入口,只改审批中分支的状态写入方式(脱敏教学示例)
public void onCallback(ApprovalCallback callback) {
    if (NODE_FINISHED.equals(callback.getNodeStatus())) {
        finish(callback);                 // 完成分支保持原样
        return;
    }
    if (!NODE_APPROVING.equals(callback.getNodeStatus())) {
        return;
    }

    MaintenanceBill bill = billMapper.selectByFlowId(callback.getFlowId());
    if (BILL_APPROVED.equals(bill.getStatus())) {
        return;                           // 已是终点,中间态消息直接丢弃
    }

    // 真正的守卫:只有当前不是审批完成才允许写,避免先查后写的窗口
    int rows = billMapper.updateStatusIfNotApproved(
            bill.getId(), BILL_APPROVING, callback.getNodeId());
    if (rows == 0) {
        log.warn("skip approving callback, bill already finished, id={}", bill.getId());
    }
}

下次遇到这些场景要警惕

  1. 给审批流接回调时,先问清平台在结束节点会不会同时发中间态和结束两条消息、时间戳是否相同;用同一个审批实例完整走一次审批,只看这条记录最终落在哪个状态,而不是看两条消息各自处理成功。
  2. 任何由回调推进状态的代码,都要构造「终点消息先被消费、中间态消息后被消费」的顺序跑一遍,确认中间态消息不会把终点改回去;守卫要写成带条件的更新,先查一次再写挡不住两个消费者同时读到旧状态。
  3. 下游记录依赖上游终点推进时(例如出库单等审批完成),补一条对账:流程已结束但记录不是审批完成的要能查出来并告警,否则这种覆盖只能等业务反馈才暴露。
  4. 平台提供只发结束节点消息的配置时,先确认业务是否真的不需要感知中间节点,再决定用它收窄消息面;配置能减少触发条件,但不能代替消费端的顺序判断。