发生了什么

平台上的商户分两级:一级商户负责拓展渠道,二级商户挂在它名下,一级商户在系统里也叫主体。一级商户要和平台约定分润比例——某座城市产生的交易,按什么比例分给商户、什么比例留给平台。这组约定在系统里叫分润规则,一条规则对应一座城市。

改比例要签合同。合同签完后,系统按合同里的约定自动发起审批,审批人在工作流里处理;审批通过后,工作流平台给商户服务发一条回调消息,带着这条规则的编号和“通过”的结论。商户服务收到后,把这条规则的审批状态从“审批中”改成“通过”,再把结果汇总到主体记录的“最终审批状态”上。前端按最终审批状态显示:名下规则全部通过,显示“生效中”;还差一条,仍显示“审批中”。账单能不能调账、付款,也看这个状态。

这家一级商户早已启用、绑卡完成,主体审批也已通过。这次不是重新启用,而是签了一份合同,把两座城市的分润比例从 83 比 17 调成 90 比 10,系统据此自动发起两条规则审批,一条对应一座城市。审批人同一天上午把两条都审完,工作流平台随即各发一条回调。

两座城市的结果不一样:一座城市的规则写库成功,状态变成“通过”;另一座城市的规则在回调处理时,事务已改掉规则状态,接着更新主体记录时数据库连接断了(连接已关闭、读写出错),整个事务回滚,状态退回“审批中”。依据很直接:这条记录的最后更新时间一直停在创建那一刻。

结果是主体名下始终有一条规则停在“审批中”,最终审批状态推不到“通过”,前端一直显示“审批中”,账单被锁住,调不了账、也付不了款。反馈人还提到“查不到审批人”——两条审批其实都已审结,工作流里没有待办单,卡点在回写,不在审批。

本质

正常流程是:合同签完 → 每条规则各发起一条审批 → 审批通过 → 各收到一条回调 → 规则状态改成“通过” → 主体最终审批状态汇总为“通过” → 前端显示“生效中”,账单可以调账。这次断在回调落库这一步:

  1. 工作流平台按规则分别回调,两座城市各一条消息,彼此独立。
  2. 商户服务把一次回调要做的事放在同一个事务里:先改规则状态,再改主体上的汇总状态,中间还同步下游的分润数据和结算对象。
  3. 第二条消息执行到更新主体记录时连接中断,未提交的修改一起回滚,此前已写下的规则状态也一并撤掉。
  4. 这次消费抛出的异常只被记成一条日志,没有让消息重新投递,也没有任务定期比对两边的状态。
  5. 主体名下始终有一条规则是“审批中”,而汇总只在回调里被动推进,最终审批状态就再也算不出来。

前端显示的“审批中”不是审批没走完,而是审批结果第一次写库失败后再没有程序去重写。

已确认的处置是让工作流平台按流程实例重推这条回调,商户服务重新走一遍“审批通过”的落库,规则状态、主体最终状态和下游的分润数据、结算对象一并补齐。重推不了就只能走数据订正,把两处状态都改成通过再补齐下游;只改这两处会留下分润和账单对不上。

修复方向是:消费失败要能重试并告警;核心状态用短事务先落库,下游同步移出事务、改成异步补偿;再加对账任务,定期扫出停留过久的“审批中”规则,和工作流侧比对后补偿。修复上线状态待确认。

下面两段代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现;类名、方法名、表名与字段名均为示意。

错误代码

// 商户服务:处理“分润规则审批通过”回调(脱敏教学示例)
@Transactional
public void onRuleApproved(ApprovalMessage msg) {
    Rule rule = ruleMapper.selectById(msg.getRuleId());
    if (rule.getApprovalStatus() == APPROVED) {
        return;
    }
    // 为什么错:改规则状态、调远程同步、改主体汇总都在一个事务里,
    // 事务从第一句一直挂到最后一句,中途连接断开就整段回滚
    ruleMapper.updateStatus(msg.getRuleId(), APPROVED);
    feeSplitClient.sync(rule);            // 远程调用,耗时不可控
    settleClient.syncObject(rule);        // 远程调用,失败即整体失败
    merchantMapper.updateFinalStatus(rule.getMerchantId(), APPROVED);
}

// 消息消费入口
public void consume(ApprovalMessage msg) {
    try {
        onRuleApproved(msg);
    } catch (Exception e) {
        // 为什么错:只记日志就当处理完了,消息确认后不再投递,
        // 也没有补偿任务回头重做,状态就永久停住
        log.error("handle failed, ruleId={}", msg.getRuleId(), e);
    }
}

修复代码示例

// 修复:核心状态用短事务先落库,下游同步移出事务、异步补偿
@Transactional
public void markApproved(long ruleId) {
    // 事务里只留这一句,连接占用时间从“整段处理”缩到“一次更新”
    ruleMapper.updateStatus(ruleId, APPROVED);
}

public void onRuleApproved(ApprovalMessage msg) {
    Rule rule = ruleMapper.selectById(msg.getRuleId());
    if (rule.getApprovalStatus() == APPROVED) {
        return;                            // 重投时按状态跳过,不重复写
    }
    markApproved(rule.getId());            // 先落库,审批结果不会再丢
    pendingTaskMapper.insert(rule.getId(), SYNC_DOWNSTREAM);
    merchantStatusService.refresh(rule.getMerchantId()); // 按全部明细重算
}

public void consume(ApprovalMessage msg) {
    try {
        onRuleApproved(msg);
    } catch (Exception e) {
        // 抛出去,交给重投;超过次数进死信并告警,不再静默消失
        throw new RetryableException("rule approve failed, ruleId=" + msg.getRuleId(), e);
    }
}

markApproved 只做一次状态更新;refresh 重新读取该主体名下全部规则再算最终状态,不再靠“某条回调顺带推进”。pendingTaskMapper 是本地待补偿记录,配合定时任务补齐下游;重投时的状态判断只挡重复写,并发下仍要按规则编号做唯一约束或行锁。都是示意,具体按项目约定改。

下次遇到这些场景要警惕

  • 有回调落库的审批流程:人为在事务中途断开数据库连接或让下游同步抛异常,再重放同一条回调,确认规则的审批状态和主体的最终状态都能恢复,而不是双双停在“审批中”。
  • 存在“汇总状态”的对象:单独把一条明细改回未完成,观察汇总会不会重算。如果汇总只在流程里被动推进,就该补一个按明细重算的入口,并核对它读的是全部明细。
  • 消费端捕获异常时:故意让处理抛错,确认消息是否重投、超过次数是否进死信、有没有失败告警,以及重投后下游会不会被重复写。
  • 排查“审批通过却仍显示审批中”:先看这条明细记录的最后更新时间是否等于创建时间——相等通常说明它从未被写过;再拿工作流侧的审批结论核对,不要只在审批人列表里找待办单。