发生了什么
换电业务里,电柜是投放在点位上的设备,用户扫码后直接从柜子里取电池。柜子要持续向平台上报心跳,平台据此判断它是否在线。判断由一层“离线识别”完成:定时读取每台电柜最近一次心跳时间,超过约定时长没有新心跳,就判为离线,生成一张“电柜离线”故障工单,由运维按工单上门处理。心跳数据放在缓存里,离线识别任务就是它的读取方之一。
正常情况下,心跳上报程序和离线识别读的是同一个缓存键:上报把最新时间写进去,识别读出来和当前时间比较,在线的柜子不建单,真正掉线的柜子才建单。
这次要做的是一次缓存键迁移:心跳数据从旧键换到新键。做法是新代码写新键,同时保留一段双写,让旧键继续有值;灰度开量、观察新键没有问题后停掉双写,只写新键,旧键随后失效。迁移方案没有把仍在读旧键的程序全部列出来,也没有准备切回旧键的回滚路径。
切换完成后,旧键里的心跳时间失效。预发环境里同样开着这份离线识别任务,而预发与生产共用同一套缓存;这个任务读旧键取不到心跳,就把这批电柜当成离线设备,持续生成离线工单并提醒。运维侧反馈了 8 例,统计下来被开出工单的电柜有四万多台,而心跳的新写入已经落在新键里。告警一度显示恢复,团队没有立即止血,错过了更早控制影响的时机。
本质
一句话:迁移只保证了“新代码写新键”可用,没有保证“所有读旧键的程序”都切过来;一个本不该参与生产链路的预发任务读了被废弃的旧键,把“读不到”直接当成了“设备离线”。
- 原流程:上报写旧键,识别读旧键,读写同一个键。读到空值,基本可以理解成这台设备确实没有上报。
- 迁移期:新代码同时写新键和旧键,旧键的值还在更新,所以旧读取方看起来一切正常,这反而掩盖了“读取方还没迁”的事实。
- 停双写:灰度完成,双写停掉,旧键不再更新。即使旧键没有被立刻清掉,里面的时间也停在停写那一刻,超过阈值同样会被判离线;这次更直接,旧键被失效,读出来是空。
- 漏掉的读取方:预发环境的离线识别任务没有被列进影响面,也没有改成读新键。它和生产环境共用缓存,按旧键判断后开出的工单直接出现在运维的待办里。
- 错误的判断方式:程序把“缓存里没有值”和“设备超时没有上报”当成同一件事。前者是读的数据源不对或已失效,后者才是业务上的离线,两者混在一起,误报就必然会建单。
- 持续放大:识别任务按周期反复执行,每一轮都为同一批电柜再判一次离线、再建一次单,于是运维看到的是“一直在跳”的工单提醒;只要任务不停、旧键不恢复,这个循环不会自己结束。
修复方向是:停双写前把所有读取方(服务、定时任务、报表、对账、人工脚本)列全并切到新键;过渡期新旧键都读,取两者中较新的时间;预发环境的定时任务关闭,只能手动执行;离线判断把“取不到心跳”与“心跳超时”分成两个分支,前者告警并跳过,后者才建单;迁移开关保留可回切旧键的能力,并约定观察期。这次给出的整改集中在发布与预发环境管理规范上,代码层面的修复与验证结果没有写,修复上线状态待确认。
两段代码按上述链路写成脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现。
写新键只完成一半迁移;旧键停止更新后,还读旧键的程序会在下一个判断周期把“查不到”变成“离线”。
错误代码
// 心跳上报:迁移后只写新键,双写已经停掉
class HeartbeatWriter {
void report(String cabinetNo, long ts) {
// 为什么错:旧键从此不再更新,但仍有程序在读旧键
cache.set("cabinet:heartbeat:new:" + cabinetNo, ts);
}
}
// 离线检测任务:预发环境也在跑,且与生产共用同一套缓存
class OfflineDetector {
void detect() {
for (Cabinet cabinet : cabinetRepository.listRunning()) {
// 为什么错:只读旧键,迁移后这里取不到心跳
Long ts = cache.get("cabinet:heartbeat:old:" + cabinet.getNo(), Long.class);
if (ts == null) {
// 为什么错:读不到值被直接当成离线,建单
workOrderService.createOfflineOrder(cabinet.getNo());
} else if (System.currentTimeMillis() - ts > OFFLINE_MILLIS) {
workOrderService.createOfflineOrder(cabinet.getNo());
}
}
}
}
修复代码示例
// 心跳上报:旧键继续写,直到确认所有读取方都已切到新键
class HeartbeatWriter {
void report(String cabinetNo, long ts) {
cache.set("cabinet:heartbeat:new:" + cabinetNo, ts);
cache.set("cabinet:heartbeat:old:" + cabinetNo, ts); // 过渡期保留旧键
}
}
class OfflineDetector {
void detect() {
if (!jobEnv.isProduction()) return; // 预发任务不再参与生产工单
for (Cabinet cabinet : cabinetRepository.listRunning()) {
Long newTs = cache.get("cabinet:heartbeat:new:" + cabinet.getNo(), Long.class);
Long oldTs = cache.get("cabinet:heartbeat:old:" + cabinet.getNo(), Long.class);
Long ts = maxNullable(newTs, oldTs); // 两个键取较新值,兼容未迁移的读取方
if (ts == null) {
alertService.warn("heartbeat missing: " + cabinet.getNo()); // 取数失败先告警,不判离线
continue;
}
if (System.currentTimeMillis() - ts > OFFLINE_MILLIS) {
workOrderService.createOfflineOrder(cabinet.getNo());
}
}
}
}
下次遇到这些场景要警惕
- 停双写或下线旧键前,列出所有读旧键的程序——服务、定时任务、报表、对账、人工脚本——逐个切到新键并各跑一轮;观察旧键读取量是否归零,而不是只看新键写入是否正常。
- 预发与生产共用缓存或数据库时,发布前确认预发环境里所有会写业务数据(工单、提醒、状态)的定时任务已关闭或只能手动执行;预发跑完立即恢复配置,并检查生产侧是否出现由预发产生的数据。
- 做离线、超时这类“没有数据就判异常”的逻辑时,把“读不到值”和“值超过阈值”分成两个分支:前者告警并跳过,后者才建单;用删除缓存键或指向空键的方式构造一次验证。
- 迁移方案上线前演练回切:在灰度环境把开关切回旧键,确认旧键数据仍在、检测结果与迁移前一致;发现批量误报先停任务或回滚,不要因为告警恢复就认为已经止血。