发生了什么

换电柜业务里,用户租一颗电池,电量用完后到柜前扫码,把没电的电池放进一个空格口,再从柜里取一颗满电的。柜子分成许多格口,每个格口放一颗电池,也可能空着。系统另有一条「绑定关系」,记录用户名下当前挂着哪颗电池;客服工具查用户电池、系统判断这个人还能不能取电,读的都是这条关系。

正常一次换电,用户在柜前扫码并确认后,系统按同一次查询结果下发开仓指令:用户放回旧电池,取出新电池,系统把取走的电池编号登记到用户名下,同时解除归还的那颗。开哪个仓、登记哪颗电池必须来自同一份信息。

这次发布的是「按量计费」需求。测试阶段发现一处可能被占便宜的逻辑漏洞:用户确认换电后,系统仍沿用之前选中的结果下指令,没有重新确认格口里的电池。研发与产品确认后补了一段逻辑:用户确认换电后重新查询格口里的电池信息,再按查询结果执行,并把查到的电池信息写进新增的一份缓存。

当天先发布一台新版本节点做灰度,旧版本节点仍在对外服务。上线后运营在反馈群里说,客服工具查不到用户绑定的电池。排查定位到这次发布:新节点按新逻辑执行时,从缓存里读到的不是这次换电写下的数据,流程按错的信息继续走。21:20 把新节点拉出,止住继续产生异常数据;21:30 按特征拉出受影响用户:绑定记录中的电池编号为空,共 13 名先用后付套餐用户;21:37 清理这些无效绑定和解绑缓存;21:40 客服与运营确认这些用户取电恢复正常。

确认的影响是:有租电权益的用户做单次换电时,还回旧电池后,柜子开的是空仓,取不到新电池,客服也查不到名下电池。

本质

正常流程里,开仓和登记共用一份信息:用户拿走柜子实际弹出的那颗电池,系统登记同一颗。新逻辑把「查格口电池」拆成独立一步,并把结果放进缓存,问题就出在这一步。

  1. 用户确认换电后,新节点先读缓存里这个格口的电池信息;缓存没有,才向电柜查询并写回。
  2. 这份缓存存的是格口电池信息,不区分是哪一次换电、哪个版本写下的。发布期间新旧节点同时服务,旧节点不维护这份缓存,读到的可能是更早一次流程写下的记录。
  3. 新节点命中缓存后不再向电柜回查,直接把记录里的电池当成当前格口的电池,下发开仓指令,并写绑定关系。
  4. 记录与格口的实际状态对不上时,柜子开出的是空仓,绑定关系里写进去的电池编号为空;这条空绑定要先解掉,用户才能重新取电。

一句话:缓存没有锚定到本次换电,命中旧数据后又被当成当前事实,开仓和登记一起错了。

缓存命中就不再回查,代价是只要读到的记录不是本次换电写下的,开仓和登记就会一起按错的数据执行。

处理上,止血是拉出新节点;数据侧按「电池编号为空」清理这 13 名用户的绑定关系和缓存。已发布的修复是加一个灰度开关:发布期间走原数据、不读这份缓存,全部节点发完再打开开关。开关管住了发布窗口,缓存怎么区分「这次换电」材料里没有写;只靠开关,下次发布仍要在同样的窗口里靠人记得关。

错误代码

class SwapConfirmService {
    private final SlotCache cache;
    private final CabinetClient cabinet;

    String confirm(long userId, String slotNo) {
        // 为什么错:键只到格口,发布期间新旧节点共用,可能读到上一轮写下的记录
        SlotBattery cached = cache.get("slot-battery:" + slotNo);
        if (cached == null) {
            cached = cabinet.querySlot(slotNo);
            cache.set("slot-battery:" + slotNo, cached);
        }
        // 为什么错:命中即用,不再向电柜确认这个格口现在装的还是不是这颗电池
        cabinet.openSlot(slotNo);
        // 为什么错:电池编号直接取自旧记录,可能是空,仍然写进了绑定关系
        bindMapper.insert(new UserBind(userId, cached.getBatteryNo()));
        return "OK";
    }
}

修复代码示例

class SwapConfirmService {
    private final ReleaseSwitch releaseSwitch;
    private final SlotCache cache;
    private final CabinetClient cabinet;

    String confirm(long userId, long swapId, String slotNo) {
        // 发布期间开关保持关闭,新节点也走原逻辑,不读这份缓存
        if (!releaseSwitch.slotBatteryCacheEnabled()) {
            return oldConfirm(userId, slotNo);
        }
        // 键带上本次换电编号,读到的只能是这次流程写下的记录
        SlotBattery battery = cache.get("slot-battery:" + swapId + ":" + slotNo);
        if (battery == null || battery.getBatteryNo() == null) {
            return "SLOT_EMPTY";   // 没有电池就不开仓、不写绑定
        }
        cabinet.openSlot(slotNo);
        bindMapper.insert(new UserBind(userId, battery.getBatteryNo()));
        return "OK";
    }
}

开关收口是本次实际采用的做法;键里带换电编号、电池编号为空就不写绑定,是从原因推导的加固,材料没有说明是否一并实施。代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现。

下次遇到这些场景要警惕

  • 给「读一次就决定后续动作」的流程加缓存时:先打印缓存键,确认带没带本次业务编号;再用同一格口连续换电两次,先由旧节点处理、再由新节点处理,看第二次读到哪一次的数据。
  • 只发一台或一批节点做灰度时:先列出新版本新增的读写点,确认旧节点会不会也写;给每条新增读路径配默认关闭的开关,全量发完再打开,并在发布单写清打开时点。
  • 在写「用户名下电池」这类绑定关系之前:让电池编号为空的请求直接失败并告警,而不是照样写;用一条没有电池编号的记录跑一遍,确认不会生成绑定、也不会给用户开仓。
  • 发布后核对数据时:按「电池编号为空」这类特征跑一次存量扫描,不要只看日志;确认异常记录数与受影响用户,清理后让客服复核。