发生了什么

用户在服务站租一辆两轮电动车,车和电池一起租,租期内可以到换电柜把没电的电池换成满电的。租车订单由服务站侧的系统创建,换电侧的系统读这张订单,给用户开通换电的资格,用户才能在柜子上取还电池。订单到期后用户接着租,系统会生成一张续租订单,流程和首次下单一样,新订单同样要开通换电资格。

这次服务站侧上线了“新模型订单”,下单、签约、开通资格换成一套新流程。为了控制风险,新流程按灰度维度先放开一部分,落到灰度的订单走新流程,其余继续走老流程,同时老的下单入口本应全部关闭。实际上老的入口没有全部收口:灰度打开之后,仍然有订单从旧链路生成,用户续租就在其中。

换电侧并不知道订单来自哪条链路。它判断新老订单的办法是看两个信号:这张订单是否落在灰度维度内,以及订单创建时间是否晚于灰度开始时间。两个条件都满足,就当成新模型订单,走新模型的激活逻辑。旧链路生成的续租订单创建时间在灰度开始之后,灰度维度也命中,于是被当成了新模型订单。

结果是换电侧按新模型的流程去开通资格,而这张订单本身是旧链路写的,新流程要用的内容它并不具备,激活没有成功。用户续租后换电资格没有开通,换电这一步就走不下去,续租在用户侧表现为异常。

本质

订单属于哪一版,是订单自身的属性,应该在创建订单时由创建方写在订单上,之后所有读取方都读同一个字段。这次换电侧手里没有这样一个字段,只能用外部信号推断,而它挑的两个信号都不等价于“这张订单由哪条链路创建”。

  1. 灰度开关回答的是“现在允许哪些维度走新链路”,描述的是此刻的准入范围,不描述某张已经存在的订单是谁创建的。开关全量打开之后,所有新订单都满足这一条,信号就失效了。
  2. 订单创建时间回答的是“下单发生在什么时候”,不回答“下单走的哪条链路”。灰度开始时间只是一条时间分界,它假设分界之后所有订单都来自新链路,而这个假设成立的前提是老入口已经全部关闭。
  3. 发布动作本身也没有收口。新链路灰度时,旧的几个下单入口还在对外服务,于是出现了“时间在灰度之后、链路还是旧的”订单。这类订单只在“灰度已开”和“从旧入口下单”同时成立时产生,平时看不出来,灰度放开比例越大,出现的可能越多。
  4. 两端对同一张订单得出不同结论之后,换电侧按新模型的流程处理它,激活失败;失败发生在开通资格这一步,用户看到的则是续租之后换电不正常。
  5. 处理分两步:先关闭全部灰度止血,再调整换电侧的订单判断逻辑,与服务站侧统一后发版,然后重新开启灰度。更稳妥的做法是让订单在创建时就写下明确的版本标识,两端读同一个值,不再各自推断;读不到明确标识时不要退回猜测,直接拦住并告警。

灰度开关和下单时间只能说明“什么时候允许新链路”,不能说明“这张订单是谁创建的”。

代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现。

错误代码

public class SwapEntitlementService {

    /** 订单创建后,换电侧按订单开通换电资格 */
    public void activate(RentalOrder order) {
        // 为什么错:订单属于哪一版,靠"灰度开关 + 下单时间"推断,
        // 而不是读订单自己记录的版本
        boolean newModel = grayConfig.isEnabled(order.getGrayDimensionValue())
                && order.getCreateTime().isAfter(grayConfig.getGrayStartTime());

        if (newModel) {
            // 为什么错:命中灰度只说明"现在允许走新链路",
            // 从旧入口创建的订单也会命中,按新模型激活必然失败
            newModelActivation.activate(order);
        } else {
            legacyActivation.activate(order);
        }
    }
}

修复代码示例

public class SwapEntitlementService {

    public void activate(RentalOrder order) {
        // 版本由创建订单的一方在创建时写入,换电侧只读这一个字段
        OrderModel model = order.getOrderModel();
        if (model == null) {
            // 读不到明确版本时不猜:先拦住并告警,人工确认后再补激活
            log.error("订单缺少版本标识,未开通换电资格,orderNo={}", order.getOrderNo());
            alert.warn("换电资格开通被阻断:订单缺少版本标识", order.getOrderNo());
            throw new IllegalStateException("order model missing: " + order.getOrderNo());
        }
        switch (model) {
            case NEW_MODEL:
                newModelActivation.activate(order);
                break;
            case LEGACY:
                legacyActivation.activate(order);
                break;
            default:
                throw new IllegalStateException("unknown order model: " + model);
        }
    }
}

下次遇到这些场景要警惕

  • 新链路要按灰度上线:先把所有能创建同一种订单的入口列出来,包括用户端、服务站前台、续租和人工补单,逐个确认灰度期间是关闭还是改走新链路。用同一条件从每个入口各下一单,检查订单上带的版本标识是否与预期一致。
  • 下游要判断单据版本:检查它是读单据上的显式字段,还是用开关状态、下单时间、编号段去推断。把开关全开、再从刻意保留的旧入口下一单,看下游会不会把它当成新版处理。
  • 灰度比例放开之前:准备一批“灰度开始之后、由旧入口创建”的订单回放,比较两端各自的判断结果,不一致的数量必须归零再放开。
  • 决定用关闭灰度止损时:确认关开关只停止新的分流,不会自动修正已经按错误版本处理过的订单;这批订单要不要补偿激活,要在回滚方案里写清楚。