发生了什么

平台上的商户分两级:一级商户负责拓展合作,二级商户挂在一级商户名下。一份合作谈成后,双方要约定分润比例、适用城市和生效期限,这组约定在业务里叫分润规则。规则保存在一级商户这一侧;二级商户要参与分润,需要系统把规则同步一份到二级商户名下。不只是签约时这样做,一级商户平时修改规则,也同样按这个方式批量下发给名下所有二级商户。

签约本身走内部审批工作流:业务提交合同和分润规则,审批人在工作流里逐级审批。审批通过后,工作流平台给业务系统发一条消息,签约处理程序收到消息后保存合同、写入分润规则、把规则同步给名下每个二级商户,最后更新这个一级账号的签约状态。合伙人管理中心就是查看这些一级账号签约进度的后台,审批还没走完时显示“一级账号审批中”。

这次该账号的工作流早已审批完成,工作流页面显示通过,合伙人管理中心却一直停在“一级账号审批中”。反馈里同时给了工作流编号和商户编号,可以按编号核对两边记录:工作流侧已是审批完成,商户侧没有跟着推进,问题出在审批结果没有落到商户这一侧。

按记录,签约处理程序在同步分润规则到二级商户时失败:该一级商户名下的二级商户数量多,读取二级商户数据时数据库超时,处理中断。状态更新排在同步之后,没有执行,管理中心就停在原状态。记录把这类超时描述为偶发,说明它取决于当时的数据量和服务负载,并非每次签约都会出现;反馈中只提到这一个一级商户,是否还有同类账号没有说明。

本质

正常顺序是:审批通过 → 消息到达 → 写合同与规则 → 逐户同步到二级商户 → 更新一级账号状态。

  1. 工作流审批通过后,工作流平台发一条消息给业务系统,签约处理程序在一次执行里按顺序完成这几步。
  2. 处理时先按一级商户取出名下全部二级商户,再为每个二级商户读一次现有规则、写一次新规则。读取次数和二级商户数量成正比。
  3. 二级商户数量到一定规模后,单次读取超过数据库允许的等待时间,处理抛异常。此时同步没有做完,后面的步骤停在原地。
  4. 异常抛出后,状态更新没有机会执行,一级账号保持“审批中”。
  5. 消息消费失败后没有自动重投,也没有别的机制接手,业务看到的就是审批已完成、管理中心没有变化。

状态更新排在批量同步之后,同步一旦超时,审批结果就再也写不回商户侧。

根因不是某一次查询写错了条件,而是把随着二级商户数量增长的批量同步,放进了签约这条必须一次走完的处理里,并且把状态更新排在了它后面。

本次处理是把失败的消息重新投递,让签约处理再走一遍,补齐同步和状态;这是临时手段,依赖消息平台重投。长期的修复方向是取消逐户复制:分润规则只在一级商户名下保存一份,二级商户查询或结算时按归属关系直接读一级商户的规则,签约处理的量不再随二级商户数量增长。在改造完成前,还可以先让状态回写与同步分开执行,并让消息按工作流编号判重,重投时跳过已经完成的部分。修复上线状态待确认。

错误代码

// 签约处理:收到审批通过消息后的完整流程(脱敏教学示例)
public void onApproved(long workflowId) {
    Contract contract = contractMapper.selectByWorkflow(workflowId);
    long merchantId = contract.getMerchantId();
    // 为什么错:一次性取出名下全部二级商户,商户越多这一步越重
    List<Long> subIds = merchantMapper.selectSubIds(merchantId);
    for (Long subId : subIds) {
        // 为什么错:循环内逐户读旧规则再写新规则,读取次数随商户数线性增长
        ProfitRule exist = ruleMapper.selectByMerchant(subId);
        ruleMapper.upsert(copyOf(contract.getRule(), subId, exist));
    }
    // 为什么错:状态更新排在批量同步之后,前面抛异常这句就执行不到
    merchantMapper.updateStatus(merchantId, "APPROVED");
}

修复代码示例

// 规则只留在一级商户名下,签约时不再逐户复制
public void onApproved(long workflowId) {
    Contract contract = contractMapper.selectByWorkflow(workflowId);
    long merchantId = contract.getMerchantId();
    // 只写这一份,处理量与二级商户数量无关
    ruleMapper.upsert(contract.getRule(), merchantId);
    // 状态回写不再排在批量动作之后,同步失败不影响审批结果落地
    merchantMapper.updateStatus(merchantId, "APPROVED");
}

// 二级商户取规则时按归属关系找一级商户,仍是一次索引点查
public ProfitRule ruleOf(long subMerchantId) {
    Merchant sub = merchantMapper.selectById(subMerchantId);
    long ownerId = sub.getParentId() == null ? subMerchantId : sub.getParentId();
    return ruleMapper.selectByMerchant(ownerId);
}

下次遇到这些场景要警惕

  • 给签约或规则变更加上“下发给下级”的步骤时:先统计每个上级商户名下下级的数量分布,挑数量最多的账号完整走一遍签约,记录每一步的查询次数和耗时,观察是否触达数据库超时、状态还能不能推进。
  • 让同步步骤失败一次:人为让它抛异常,观察审批结果是否仍能落到商户侧、管理中心会不会停在审批中,确认状态更新不依赖批量动作是否成功。
  • 检查消息失败后的去向:中断一次处理或制造一次超时,看消息是否自动重投、有没有失败告警,重投后是否会重复写规则或重复生成合同。
  • 验证数据规模:用接近生产规模的头部商户数据跑一次,不要只用只有几个二级商户的测试账号验证,超时问题在小数据量下不会出现。