发生了什么
用户在服务站租一辆两轮电动车,车和电池一起租,租期内可以到换电柜把没电的电池换成满电的。租车订单由服务站侧的系统创建,换电侧的系统读这张订单,给用户开通换电的资格,用户才能在柜子上取还电池。订单到期后用户接着租,系统会生成一张续租订单,流程和首次下单一样,新订单同样要开通换电资格。
这次服务站侧上线了“新模型订单”,下单、签约、开通资格换成一套新流程。为了控制风险,新流程按灰度维度先放开一部分,落到灰度的订单走新流程,其余继续走老流程,同时老的下单入口本应全部关闭。实际上老的入口没有全部收口:灰度打开之后,仍然有订单从旧链路生成,用户续租就在其中。
换电侧并不知道订单来自哪条链路。它判断新老订单的办法是看两个信号:这张订单是否落在灰度维度内,以及订单创建时间是否晚于灰度开始时间。两个条件都满足,就当成新模型订单,走新模型的激活逻辑。旧链路生成的续租订单创建时间在灰度开始之后,灰度维度也命中,于是被当成了新模型订单。
结果是换电侧按新模型的流程去开通资格,而这张订单本身是旧链路写的,新流程要用的内容它并不具备,激活没有成功。用户续租后换电资格没有开通,换电这一步就走不下去,续租在用户侧表现为异常。
本质
订单属于哪一版,是订单自身的属性,应该在创建订单时由创建方写在订单上,之后所有读取方都读同一个字段。这次换电侧手里没有这样一个字段,只能用外部信号推断,而它挑的两个信号都不等价于“这张订单由哪条链路创建”。
- 灰度开关回答的是“现在允许哪些维度走新链路”,描述的是此刻的准入范围,不描述某张已经存在的订单是谁创建的。开关全量打开之后,所有新订单都满足这一条,信号就失效了。
- 订单创建时间回答的是“下单发生在什么时候”,不回答“下单走的哪条链路”。灰度开始时间只是一条时间分界,它假设分界之后所有订单都来自新链路,而这个假设成立的前提是老入口已经全部关闭。
- 发布动作本身也没有收口。新链路灰度时,旧的几个下单入口还在对外服务,于是出现了“时间在灰度之后、链路还是旧的”订单。这类订单只在“灰度已开”和“从旧入口下单”同时成立时产生,平时看不出来,灰度放开比例越大,出现的可能越多。
- 两端对同一张订单得出不同结论之后,换电侧按新模型的流程处理它,激活失败;失败发生在开通资格这一步,用户看到的则是续租之后换电不正常。
- 处理分两步:先关闭全部灰度止血,再调整换电侧的订单判断逻辑,与服务站侧统一后发版,然后重新开启灰度。更稳妥的做法是让订单在创建时就写下明确的版本标识,两端读同一个值,不再各自推断;读不到明确标识时不要退回猜测,直接拦住并告警。
灰度开关和下单时间只能说明“什么时候允许新链路”,不能说明“这张订单是谁创建的”。
代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现。
错误代码
public class SwapEntitlementService {
/** 订单创建后,换电侧按订单开通换电资格 */
public void activate(RentalOrder order) {
// 为什么错:订单属于哪一版,靠"灰度开关 + 下单时间"推断,
// 而不是读订单自己记录的版本
boolean newModel = grayConfig.isEnabled(order.getGrayDimensionValue())
&& order.getCreateTime().isAfter(grayConfig.getGrayStartTime());
if (newModel) {
// 为什么错:命中灰度只说明"现在允许走新链路",
// 从旧入口创建的订单也会命中,按新模型激活必然失败
newModelActivation.activate(order);
} else {
legacyActivation.activate(order);
}
}
}
修复代码示例
public class SwapEntitlementService {
public void activate(RentalOrder order) {
// 版本由创建订单的一方在创建时写入,换电侧只读这一个字段
OrderModel model = order.getOrderModel();
if (model == null) {
// 读不到明确版本时不猜:先拦住并告警,人工确认后再补激活
log.error("订单缺少版本标识,未开通换电资格,orderNo={}", order.getOrderNo());
alert.warn("换电资格开通被阻断:订单缺少版本标识", order.getOrderNo());
throw new IllegalStateException("order model missing: " + order.getOrderNo());
}
switch (model) {
case NEW_MODEL:
newModelActivation.activate(order);
break;
case LEGACY:
legacyActivation.activate(order);
break;
default:
throw new IllegalStateException("unknown order model: " + model);
}
}
}
下次遇到这些场景要警惕
- 新链路要按灰度上线:先把所有能创建同一种订单的入口列出来,包括用户端、服务站前台、续租和人工补单,逐个确认灰度期间是关闭还是改走新链路。用同一条件从每个入口各下一单,检查订单上带的版本标识是否与预期一致。
- 下游要判断单据版本:检查它是读单据上的显式字段,还是用开关状态、下单时间、编号段去推断。把开关全开、再从刻意保留的旧入口下一单,看下游会不会把它当成新版处理。
- 灰度比例放开之前:准备一批“灰度开始之后、由旧入口创建”的订单回放,比较两端各自的判断结果,不一致的数量必须归零再放开。
- 决定用关闭灰度止损时:确认关开关只停止新的分流,不会自动修正已经按错误版本处理过的订单;这批订单要不要补偿激活,要在回滚方案里写清楚。