发生了什么

平台卖电动车,电池有两种卖法。一种是电池单独成交:用户为电池单独付钱,平台在用户账户上登记一笔电池订单,之后使用电池服务都按这笔记录算。另一种是车和电池一起成交,也就是车电一体:电池的钱含在车里,用户侧不会产生单独的电池订单。系统里还有代客下单,由工作人员替客户在系统里下单,和用户自己下的单走同一个付款流程。

用户付完钱,支付渠道会回调订单程序,意思是这笔钱到账了。订单程序在回调里做几件事:先把订单改成已支付;再按订单类型做登记,其中电池单独成交的订单要去用户服务登记电池订单,用户在账户上才看得到这份电池服务。

一次需求变更调整了代客下单订单支付成功回调的执行位置——原来这段处理在别处执行,改完挪到了新的位置,电池订单同步就跟着这段代码一起搬了过去。发布按单台节点替换,替换完成后进入观察期,观测时在日志里发现了调用用户服务的异常。

核对下来,异常来自代客下单的车电一体订单。这类订单支付成功后也发了电池订单同步请求,但它没有单独的电池订单可登记,用户服务那边找不到对应的记录,处理不了,请求失败并抛出异常,订单程序把异常记成一条调用异常日志。订单在发请求之前已经改成已支付,后续流程照常走,业务功能不受影响。定位到本次改动后,这次发布被终止,更换版本重新发布,第二次发布成功。

本质

一句话:回调处理搬了位置,随它一起执行的电池订单同步却没有带上“这笔订单有没有独立电池订单”的判断,于是车电一体订单也被拿去同步了一次。

  1. 原流程里,电池订单同步只对电池单独成交的订单执行;车电一体订单的电池随车成交,本来就不需要在用户账户上单独登记电池订单。
  2. 需求变更把代客下单的支付成功回调挪到了新位置。这段处理整体跟着搬走,但新位置在执行同步之前,没有再把“这笔订单该不该同步电池订单”判断一遍。
  3. 于是车电一体订单也发出了同步请求。请求按电池订单去登记,而这类订单并没有独立的电池订单,用户服务找不到可对应的记录,返回失败。
  4. 这次失败没有阻断业务:订单已经是已支付,订单程序捕获了异常,只打一条调用日志。这也解释了为什么业务看起来正常,问题只出现在日志里。

错误不是同步逻辑算错了,而是一次不适用的下游调用被发了出去,而且发出之前没有拦住:异常被捕获后只留日志,这个错误就以日志噪音的形式一直存在。

所以结果很具体:同一次回调里,改状态那一步是对的,同步那一步却对不该同步的订单也执行了。修复方向是给这段同步加上判断限制:只有确实存在独立电池订单的订单才发起同步,车电一体订单直接跳过;真实同步失败仍然要留下订单号并告警,便于区分“本来不该发”和“该发但失败了”。本次的处理就是按这个方向改的:加上判断限制后终止发布、更换版本重发,第二次发布成功。

错误代码

// 支付成功回调(脱敏教学示例)
public void onPaySuccess(PayNotify notify) {
    Order order = orderMapper.selectByOrderNo(notify.getOrderNo());
    order.markPaid(notify.getPaidTime());
    orderMapper.updateStatus(order);   // 先置为已支付,后面的失败不影响业务

    // 需求变更后,电池订单同步被挪到这里统一执行
    BatterySyncRequest req = new BatterySyncRequest();
    req.setUserId(order.getUserId());
    req.setBatteryOrderNo(order.getBatteryOrderNo());
    // 为什么错:执行前没有判断这笔订单有没有独立电池订单,
    // 车电一体订单的电池订单编号为空,照样发出了同步请求
    try {
        userClient.syncBatteryOrder(req);   // 用户服务没有对应电池订单,返回失败
    } catch (Exception e) {
        // 只留日志、不中断:业务正常,错误以日志形式持续出现
        log.error("battery order sync failed, orderNo={}", order.getOrderNo(), e);
    }
}

修复代码示例

// 支付成功回调(脱敏教学示例)
public void onPaySuccess(PayNotify notify) {
    Order order = orderMapper.selectByOrderNo(notify.getOrderNo());
    order.markPaid(notify.getPaidTime());
    orderMapper.updateStatus(order);

    // 修复:先判断订单有没有独立电池订单,车电一体订单直接跳过
    if (!hasSeparateBatteryOrder(order)) {
        return;
    }
    BatterySyncRequest req = new BatterySyncRequest();
    req.setUserId(order.getUserId());
    req.setBatteryOrderNo(order.getBatteryOrderNo());
    try {
        userClient.syncBatteryOrder(req);
    } catch (Exception e) {
        // 真实失败仍要留下订单号并告警,便于区分“不该发”和“发了没成功”
        log.error("battery order sync failed, orderNo={}", order.getOrderNo(), e);
    }
}

// 只有电池单独成交、且带电池订单编号的订单才需要同步
private boolean hasSeparateBatteryOrder(Order order) {
    return order.getBatteryOrderNo() != null && !order.getBatteryOrderNo().isEmpty();
}

下次遇到这些场景要警惕

  • 把一段回调或触发逻辑挪位置:先把原位置执行它之前的分支条件、过滤条件列出来,逐条确认新位置是否还成立;再用每一种订单来源各造一笔支付成功,看日志里有没有出现本不该发生的下游调用。
  • 回调里新增或移动远程调用:把会被回调命中的订单来源列全(用户自助、代客下单、车电一体等),逐类确认这次调用是否适用;不适用就在发起前返回,而不是发出去再靠下游报错。
  • 业务正常、日志里却持续出现下游调用失败:不要因为不影响功能就放过。按订单类型和入参把日志分组,确认失败是否来自本次改动的分支,再决定终止发布还是继续观察。
  • 用 try/catch 兜住下游失败:确认被吞掉的是“可以重试的失败”还是“本来就不该发起的调用”。后者要前置拦截,前者要有告警和重试,不能只留一行日志。

文中代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现。