发生了什么
一辆电动车在运营时挂在某一家门店名下,门店决定它在哪片区域取用。同一台车有两份记录:资产台账记着每台车的门店归属和运营状态,运营系统记着车辆实际在哪家门店运营,两边靠消息同步。运营人员在后台发起调拨,把车从原门店调到目标门店。正常流程是:调拨入库接口先把运营系统里的车辆挂到目标门店、状态改成运营中;资产台账随后调用修改状态、修改门店两个接口,各发一条消息;运营系统收到后与本地记录比对并补齐差异,最终两边都停在目标门店、运营中。
这次的不同在于两条消息的到达顺序。运营系统先收到修改门店的消息,此时它的门店已是目标门店,比对一致,没有更新;紧接着收到修改状态的消息,这条消息带的是变更前的整份车辆快照,门店还是原门店,比对发现不一致,运营系统就把消息内容覆盖了上去。
运营系统的门店归属因此退回原门店:资产台账记目标门店,运营系统记原门店。当天操作员再次操作出库,资产台账发出的状态消息带的是目标门店,运营系统的门店被改回目标门店,表面上又一致了。可随后再次入库时,入库接口按门店编号加车架号查车,查不到记录,返回未查询到车辆信息。车辆停在调拨出库中,这次调拨既完成不了也取消不了;这台车还没接入智能控制,按流程要先取消调拨才能刷成智能车,接入也跟着卡住。同期统计受影响记录为 3 条。
本质
问题不在调拨业务本身,而在两条描述同一辆车的消息既没有保序,消费端又用整条快照覆盖,两件事叠在一起才把门店改了回。
- 资产台账改车辆状态、改车辆门店是两次独立调用,各发一条消息。两条消息都没带车辆编号做路由键,被投递到不同队列、由不同消费者并行处理,谁先被消费取决于调度,而非发送顺序。
- 修改状态接口收到请求时先读了一次车辆记录,读到的还是改门店之前的快照。这条消息除状态外还带着门店等一整份数据。
- 运营系统处理消息时不是只更新自己负责的字段,而是把整条消息和本地记录整体比对,有差异就整条覆盖。于是本该只改状态的旧消息,把门店也一起改了。
- 修改门店的消息先到,本地已经正确,比对无差异,没有动作;带原门店的状态消息后到,反而触发了覆盖。发送顺序没错,错在消费顺序颠倒,后到的旧数据赢了。
同一辆车的两条变更消息落在不同队列,携带旧门店的那条后到,把已经同步好的门店又改了回。
入库查不到车是这次不一致的下游表现:调拨每一步都要按门店编号加车架号找车,两边门店归属不一致时,任何一步都可能找错门店。入库为什么取到原门店编号,还需单独排查入库接口的取值逻辑。
修复方向分两层。长期做法是发消息时以车辆编号为 key,保证同一辆车的变更消息进入同一队列、按顺序消费,并把状态和门店合成一条变更消息,不再让两条消息分别描述同一辆车的不同字段。短期做法是在消费端判新旧:消息体不带时间戳,需在消费时缓存发送时间或引入版本号,版本不高于本地记录的消息直接丢弃,不再回写。修复上线后还要修复已被写错门店的历史数据。修复上线状态待确认。
错误代码
// 资产台账:调拨入库完成后同步车辆(脱敏教学示例)
public void afterAllocateIn(long vehicleId, long targetShopId) {
Vehicle v = vehicleRepo.get(vehicleId); // 此刻读到的门店仍是原门店
mq.send("vehicle-status-topic", toJson(v.withStatus(IN_SERVICE)));
// 为什么错:这条消息是整份车辆快照,门店随快照一起带了出去;
// 且两条消息都没带车辆编号做路由键,同一辆车被拆到不同队列
mq.send("vehicle-shop-topic", toJson(v.withShop(targetShopId)));
}
// 运营系统:按整条快照比对后整体覆盖
public void onVehicleMessage(VehicleMsg msg) {
Vehicle local = vehicleRepo.getByVin(msg.getVin());
if (!local.sameAs(msg)) {
// 为什么错:本该只改状态的旧消息,把门店也一起覆盖了
vehicleRepo.overwrite(local.getId(), msg);
}
}
修复代码示例
// 状态与门店合成一条变更消息,并按车辆编号路由(脱敏教学示例)
public void afterAllocateIn(long vehicleId, long targetShopId) {
Vehicle v = vehicleRepo.get(vehicleId)
.withShop(targetShopId)
.withStatus(IN_SERVICE)
.nextVersion(); // 快照带版本号,供消费端判断新旧
// 修复:以车辆编号为 key,同一辆车的变更进入同一队列、按序消费
mq.send("vehicle-change-topic", String.valueOf(vehicleId), toJson(v));
}
public void onVehicleMessage(VehicleMsg msg) {
Vehicle local = vehicleRepo.getByVin(msg.getVin());
// 修复:版本不高于本地记录的是过期消息,直接丢弃,不再回写
if (msg.getVersion() <= local.getVersion()) {
return;
}
vehicleRepo.apply(local.getId(), msg); // 本地版本随快照推进
}
下次遇到这些场景要警惕
- 一个业务动作拆成多条消息发给同一个消费方:先确认消息是否带业务主键做路由键、同一实体的消息是否真进同一队列,再打乱发送时间重放,看最终数据是否一致。
- 消费端按整条快照比对后覆盖:逐条核对消息只更新它负责的字段,门店、归属这类不该由状态消息改的字段必须显式排除,或只允许版本更高的快照覆盖。
- 排查两边数据不一致:别先怀疑接口没调通,先把同一辆车的消息发送时间、消费时间和内容拉成时间线,确认是否旧消息后到覆盖了新数据。
- 车辆卡在某个中间状态:分别验证“能完成”和“能取消”两条路径,并单独按门店找一次车,确认门店归属正确再判断是状态卡死还是查不到车。