发生了什么
工作人员给用户分配服务时长,需要先确认自己还有足够的可用额度,再给用户生成对应订单。
这次操作提示额度不足、分配失败,但用户端却多了待生效订单。反复尝试后,页面还把这些订单里的时长加到一起,显示出明显过大的剩余天数。
本质
这件事由两个系统一起做:一个管额度,一个给用户建订单。执行顺序出了问题:
- 管额度的系统先通知用户端“创建订单”。
- 用户端已经把订单保存成功。
- 管额度的系统这时才发现额度不足,撤销自己这边的操作,并返回失败。
- 它只能撤销自己的数据,不能顺带删除另一个系统已经保存的订单。 因此用户端留下了多余订单。
这些待生效订单又使用套餐配置中的较长有效期,而非本次实际分配的天数,显示时就累计出了异常时长。
提示“操作失败”后,另一个系统可能已经把事做成了。
修复需要提前校验并预留额度,按实际分配天数建单,并核对两个系统的记录。修复上线状态待确认。
错误代码
// 本地数据库事务不会覆盖远端服务的数据库。
transactionTemplate.executeWithoutResult(status -> {
remoteOrderClient.create(request); // 远端先保存了订单
quotaRepository.deduct(request); // 本地额度不足,抛异常并回滚
}); // 远端订单不会跟着回滚
修复代码示例
// 同一本地事务内:原子预占额度,并保存待执行任务。
PendingTask task = transactionTemplate.execute(status -> {
quotaRepository.reserve(request);
return taskRepository.savePending(request);
});
try {
remoteOrderClient.createOnce(task.getRequestId(), request);
reservationService.confirm(task.getId());
} catch (Exception e) {
// 结果可能未知,进入查单流程,不能立刻释放额度并重新建单。
taskRepository.markForReconciliation(task.getId());
}
同一业务请求需使用稳定的请求编号;预占和任务要可靠保存。查单确认远端成功后完成本地确认,确认失败后再释放额度;确认与失败补偿也要保证重复执行安全。这里不能靠一个本地事务实现跨服务回滚。
下次遇到这些场景要警惕
- 一次操作要改两个系统:让第二步故意失败,再分别检查两边,确认不会一边有订单、一边没记录。
- 调用超时后准备重试:先确认对方到底有没有创建成功,避免再次创建一份。
- 配置天数和实际分配天数不同:检查用户订单里保存和展示的是本次应得的天数,失败重试后也不能额外增加。