发生了什么

换电柜是给电动车用户换电池的设备:用户把没电的电池放进柜子,换出一块满电的电池。一个柜子由多个格口组成,运营逐个配置格口是充电格口还是换电格口。系统据此推导整柜的「充换类型」:格口全是换电就是换电柜,全是充电就是充电柜,两种都有就是充换柜。这个类型随电柜配置一起落库,也被服务加载进缓存;用户发起换电时,服务按缓存里的类型决定这台柜子怎么处理,不必每次都查数据库。缓存有有效期,到期后重新加载。

这一次,团队在重构充换电链路。新链路引入充电开关,柜子的充换类型不再只由格口决定,还要看充电开关和运营模式,已经完全可以由配置里的其他字段推导出来。方案因此决定把数据库里的充换类型字段废弃,不再单独维护。

4 月 23 日晚,新版本先发布了一台实例。新实例加载电柜配置、写入缓存时,已经不再带这个被废弃的字段;配置缓存是新旧实例共用的,旧版本的实例还在线,它从缓存里取到的类型就是空的。旧代码遇到空值没有报错,而是兜底去取电柜型号上配置的充换类型。两个受影响型号在型号配置里都是充换柜,于是这两个型号的柜子在缓存到期、重新加载之后都被当成了充换柜,纯换电柜的换电流程走不通。4 月 24 日上午,运营反馈有用户换不了电,确认 3 台电柜约一小时不可用。

本质

一句话:新版本按计划不再写充换类型,旧版本还在读它,读到空值后用型号配置兜底,把纯换电柜兜成了充换柜。

  1. 正常时类型和柜子的实际格口一致:格口配置落库时推导出类型,服务从缓存读到这个类型,换电按换电柜的规则执行。
  2. 新版本改的是「谁来决定类型」:类型改由充电开关、运营模式和格口共同推导,字段本身不再需要。这个方向没有问题,问题出在删除的时机——发布过程中新旧实例同时在线,旧实例还不认识新规则。
  3. 新实例写缓存时丢掉了字段,缓存里出现了没有类型的记录;旧实例读到的就是这种记录。缓存还没到期时,旧实例手里仍是带类型的旧记录,所以故障是在缓存陆续到期后才出现的。
  4. 旧实例的空值分支没有把「没读到」当成异常,而是回退到型号级的充换配置。型号配置描述的是这个型号能配成什么,不等于眼前这台柜子当前是什么;两个型号恰好都配的是充换柜,兜底值就把纯换电柜覆盖成了充换柜。
  5. 类型一错,换电请求按错误类型处理,用户换不了电。

11 时 29 分先处置了已发布的这台新实例。随后把这两个型号的电柜配置缓存刷新为 1 小时加 10 分钟以内随机过期,让接下来的推全窗口里缓存不会到期,旧实例不必再读缺字段的记录;刷新前先小批量核对缓存内容符合预期,21 时 19 分开始全量刷新,21 时 25 分完成,21 时 26 分继续推全,21 时 55 分发布完成,观察无异常。修复方向是:废弃字段分两步走,新旧实例并存期间新版本仍按旧规则写这个字段,或给缓存加结构版本、让旧实例只读自己认识的版本;旧实例读到空值时应该回到这台柜子的格口配置重新推导,算不出就报错告警,而不是拿型号配置兜底。两段代码是按这条链路写的脱敏教学示例,不代表实际项目源码或已上线实现。

字段「没人用了」和「所有在线实例都不用了」是两件事;发布窗口里只要还有一个旧实例在读,空值兜底就会把配置错误放大成业务不可用。

错误代码

// 新版本:加载电柜配置写缓存时,把已废弃的类型字段清掉
public CabinetConfig loadAndCache(Long cabinetId) {
    CabinetConfig config = cabinetMapper.selectById(cabinetId);
    // 为什么错:旧实例还在读同一份缓存,这里清掉后它拿到的就是 null;
    // 字段废弃应该等旧实例全部下线,而不是从这次发布就开始
    config.setAdaptType(null);
    cache.put("cabinet:config:" + cabinetId, config);
    return config;
}

// 旧版本:类型为空时按电柜型号兜底
public CabinetType resolveType(CabinetConfig config) {
    if (config.getAdaptType() != null) {
        return CabinetType.of(config.getAdaptType());
    }
    // 为什么错:型号配置是「这个型号可以配成什么」,
    // 不是「这台柜子现在是什么」,拿它兜底会把纯换电柜判成充换柜
    return modelConfig.get(config.getModel()).getDefaultType();
}

修复代码示例

// 新版本:过渡期保留类型字段,并仍按旧规则(只看格口)写入
public CabinetConfig loadAndCache(Long cabinetId) {
    CabinetConfig config = cabinetMapper.selectById(cabinetId);
    // 旧实例还按旧语义读这个字段,过渡期必须继续写,且不能换成新规则的计算结果
    config.setAdaptType(legacyTypeFromSlots(config.getSlots()));
    config.setChargeMode(deriveChargeMode(config)); // 新逻辑用新增的字段表达
    cache.put("cabinet:config:" + cabinetId, config);
    return config;
}

// 旧版本:空值不拿型号配置兜底,回到这台柜子自己的格口重新推导
public CabinetType resolveType(CabinetConfig config) {
    if (config.getAdaptType() != null) {
        return CabinetType.of(config.getAdaptType());
    }
    CabinetType type = legacyTypeFromSlots(config.getSlots());
    if (type == null) {
        // 算不出来就拒绝这次换电并告警,不能让一个猜测值继续往下走
        alert.warn("电柜配置缺少类型且格口无法推导,cabinetId=" + config.getId());
        throw new CabinetConfigException("电柜配置异常,暂不可换电");
    }
    return type;
}

下次遇到这些场景要警惕

  1. 下线任何被多个实例读取的字段前,先查清还有多少旧实例在跑、它们读到空值会走哪条分支。在预发同时起新旧两个版本,让新版本写一次缓存、旧版本读一次,确认旧版本拿到的是正确类型,而不是落进型号配置的兜底。
  2. 缓存里的空值不能触发「按型号」或「按默认配置」的兜底。给这类分支加断言和告警,发布前把缓存过期时间调到覆盖发布窗口,或在发布期间冻结缓存重建,再观察是否有条目被新实例重写。
  3. 配置结构有变化的发布,按时间推进做一次完整验证:先发一台新实例,等旧缓存自然过期,再用旧实例处理一次真实换电,确认类型判断和换电结果都正确后才继续推全。
  4. 出问题后先分清是缓存内容错还是代码逻辑错。把缓存记录、数据库配置和格口配置三方对照,确认缺的是哪个字段、兜底走了哪条分支,再决定刷新缓存、回滚还是改代码。