发生了什么

用户在线下服务站租一辆两轮电动车,租期结束前可以续租。同一笔租约在两个系统里各有一份记录:租车平台记录合同、租期和费用;服务站侧记录这辆车现在租给谁、租到什么时候,店员据此交车、收车、处理归还。两边靠消息同步——租车平台上的订单状态一变,就发一条消息告诉服务站侧,服务站侧照着更新自己的记录。

正常续租是这样的:用户续租成功后,租车平台把老订单结束,再生成一张新订单并让它生效。两个状态变更各发一条消息给服务站侧。服务站侧先收到老订单结束,把这辆车标记为可承接;再收到新订单生效,把这辆车登记到新订单名下、写上新的租期。两条消息都处理完,门店记录才算接到新租期上。

这次续租时,租车平台把老订单结束和新订单生效两条消息同时发了过来。服务站侧按消息到达的先后逐条处理,出现了一次先处理新订单生效的情况:那时本地老订单还没有结束,这辆车还挂在老订单名下,新订单生效这一步没有通过,同步失败。结果是租车平台侧已经是新订单,服务站侧的记录仍停在老订单,用户反馈续租后的订单没有同步到服务站。这一条按产品方案问题处理,结论是转优化需求,没有当场改代码。

本质

两条消息各自表示一件事,但它们在业务上是一前一后的两步:老订单必须先结束、把这辆车释放出来,新订单才能在这辆车上生效。消息通道只保证消息被投递出去,不保证按业务顺序到达,也不保证前一条处理成功后才投递下一条。

  1. 租车平台在续租成功时结束老订单、创建并生效新订单,两个动作各发一条消息,两条消息同时发出。
  2. 两条消息进入服务站侧的消费端,谁先被处理取决于网络和线程调度,不由业务顺序决定。
  3. 消费端处理新订单生效时按本地状态判断这辆车能不能承接新订单。此时老订单结束那条消息还没有被处理,车上还挂着进行中的老订单,这个判断不成立。
  4. 处理失败后,这条新订单生效消息没有挂起等待前一条完成,也没有按业务号重排或延迟重试,于是这次同步没有落到服务站侧记录上,记录仍停在老订单。

问题的根子在消费端把“先结束、后生效”当成了默认前提。它读的是本地此刻的状态,却没有确认这个状态是不是已经由前一条消息推进到位。两条消息谁先到不由业务决定,把“老订单已经结束”当成默认前提,等于让同步的正确性取决于网络和线程调度。

修复方向有三条,可以按成本组合:一是在消费端按本次续租的业务号串行处理,给两条消息带上序号,序号在前的没处理完时,后面的先缓存等待;二是新订单生效遇到“车上还有进行中订单”时不直接丢弃,转为延迟重试,等老订单结束消息处理完再放行;三是由租车平台把这次续租合并成一条消息,老订单结束和新订单生效在同一个消息里按顺序处理。三条路都要注意边界:结束和生效要能重复执行,按业务号串行要靠锁或同一分区消费。修复上线状态待确认,记录里只有转优化需求的结论。

代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现。

错误代码

public class StationOrderSyncConsumer {

    /** 续租会拆成两条消息分别投递:老订单结束、新订单生效 */
    public void onMessage(OrderSyncMessage msg) {
        switch (msg.getType()) {
            case ORDER_CLOSED:
                stationOrderDao.close(msg.getOrderNo());
                break;
            case ORDER_ACTIVATED:
                // 为什么错:默认老订单一定已经先结束,没有校验也没有排队,
                // 新订单生效消息先到就直接进入生效逻辑
                StationOrder active = stationOrderDao.findActiveByVehicle(msg.getVehicleNo());
                if (active != null) {
                    // 为什么错:前置条件不满足时抛异常,消息被当成已消费,
                    // 这条消息不会再重放,服务站侧记录仍停在老订单
                    throw new IllegalStateException("vehicle still occupied: " + msg.getVehicleNo());
                }
                stationOrderDao.activate(msg.getNewOrderNo(), msg.getVehicleNo(), msg.getPeriod());
                break;
            default:
                break;
        }
    }
}

修复代码示例

public class StationOrderSyncConsumer {

    /** 同一业务动作产生的多条消息带业务号和序号:1 老单结束,2 新单生效 */
    public void onMessage(OrderSyncMessage msg) {
        // 为什么这样改:前置序号没处理完就不处理这一条,先缓存,避免乱序
        if (!sequenceGuard.canProcess(msg.getBusinessNo(), msg.getSeq())) {
            sequenceGuard.buffer(msg.getBusinessNo(), msg);
            return;
        }
        try {
            if (msg.getSeq() == 1) {
                stationOrderDao.close(msg.getOldOrderNo());
            } else if (stationOrderDao.findActiveByVehicle(msg.getVehicleNo()) != null) {
                // 为什么这样改:状态没到位时延迟重试,而不是丢弃这条消息
                sequenceGuard.retryLater(msg, Duration.ofSeconds(30));
                return;
            } else {
                stationOrderDao.activate(msg.getNewOrderNo(), msg.getVehicleNo(), msg.getPeriod());
            }
            sequenceGuard.markDone(msg.getBusinessNo(), msg.getSeq());
            sequenceGuard.flushBuffered(msg.getBusinessNo()); // 前置完成后放行缓存的后续消息
        } catch (Exception e) {
            sequenceGuard.retryLater(msg, Duration.ofSeconds(30)); // 重试要配合幂等
        }
    }
}

下次遇到这些场景要警惕

  • 一个业务动作要发多条消息:先把这些消息在业务上的先后关系写出来,确认每条消息是否自带业务号和序号。再让两条消息交换发送顺序,看消费端是阻塞等待、缓存排队,还是把后到的那条直接处理掉。
  • 消费端依赖本地已有记录做前置判断:检查判断失败的分支是丢弃、抛异常,还是延迟重试。构造“前置消息还没到”的场景重放一次,看这条消息会不会被当成已消费而彻底消失。
  • 用重试兜底之前:确认结束和生效两个动作本身可以重复执行,且按业务号串行有锁或同分区消费保证,否则重试只会把乱序换成并发覆盖。
  • 排查两边状态不一致的工单:先对比租车平台侧与服务站侧同一辆车的当前订单,确认差异卡在“新订单生效”这一步,再决定补同步还是改消费端,不要先手工改门店记录。