发生了什么
换电业务里,用户要先交一笔押金才能借电池。借出和归还都靠一条“绑定关系”记录支撑:用户扫码借电,系统在他的名下登记一颗电池;用户把电池还回电柜,这条绑定关系被解除。用户名下可以同时挂多颗电池。
退押金前,系统要做一次检查:用户名下还有没有没归还的电池。有就拒绝,避免退了钱用户还拿着电池。
这次改造把绑定关系从原来的一张表迁到了新库里的绑定表。改造期间两张表并存,程序按用户分流:最近一段时间扫码借过电池的用户走新库的绑定表,其余用户仍然走旧表和旧的查询逻辑。靠用户特征决定走哪一套的做法,在团队里被叫作灰度路由。
出问题的这名用户从 12 月起就没有再扫码借过电池,于是被这条规则稳定地判成了旧链路用户。他其实已经把电池还了,那颗电池之后还在正常流转,被别人借走使用。可是他去退押金时,检查程序按灰度判定去旧表里查他名下的电池,旧表里这条绑定还在,页面提示名下还有电池,退押金走不下去。最后是后端人工把这条残留的绑定关系解掉,押金才退成功。
本质
一句话:同一条绑定关系被两张表分别维护,退电池只解除了其中一张,而退押金前的检查被灰度规则指到了另一张。
-
改造前只有一张绑定表。退电池时解绑写这张表,退押金前检查读的也是这张表,两处必然一致:解绑成功,检查就查不到这颗电池。
-
迁移后变成两张表:迁移前的旧表和新库的绑定表。程序要靠灰度路由决定这一次读或写落哪张表。只要某一次业务的“写”和“检查”被判到不同的表,两边就会对不上,而且两边都不会报错。
-
灰度路由的判定依据是“这个用户最近有没有扫码借过电”。它衡量的是用户近期的使用行为,不是这条绑定数据实际被写到了哪张表。一个人越久没借过电池,就越会被稳定地判到旧链路那一侧,唯一能纠正他的机会是重新扫一次码。
-
发布过程中,新旧两张表的绑定关系本身就存在不一致的情况:退电池时执行的解绑只更新了新库的绑定表,旧表里这条记录没有被一起解除。那颗电池后来的正常流转说明绑定关系在业务上早已结束,旧表留下的是一条已经失效的记录。
-
退押金前的检查读到这条失效记录,只看到“有一条未解除的绑定”,据此得出名下有电池的结论。判定结果取决于检查读的是哪张表,而这张表由一个与数据现状无关的用户行为规则挑选。
临时处理是把旧表里这条绑定直接解掉。长期方案是下线这套按用户分流的灰度逻辑,绑定关系的读写全部改走新库的绑定表;这套改动的上线情况,记录里没有说明。
错误代码
// 押金退还前的占用检查与退电池解绑(脱敏教学示例)
public boolean hasBatteryInUse(long userId) {
// 为什么错:用“最近是否扫码借电”决定读哪张表,依据是用户活跃度,不是数据实际被写到了哪张表
boolean oldLink = lastScanTime(userId).isBefore(now().minusMonths(3));
List<Binding> bindings = oldLink
? oldBindingDao.listActiveByUser(userId) // 长期不活跃的用户被稳定判到旧表
: newBindingDao.listActiveByUser(userId);
return !bindings.isEmpty();
}
public void releaseOnReturn(long userId, long batteryId) {
// 为什么错:解绑只更新新库绑定表,旧表里的同一条绑定没有一并解除
newBindingDao.release(userId, batteryId);
}
修复代码示例
// 下线灰度路由:绑定关系的读写都只走新库绑定表(脱敏教学示例)
public boolean hasBatteryInUse(long userId) {
return newBindingDao.countActiveByUser(userId) > 0;
}
public void releaseOnReturn(long userId, long batteryId) {
newBindingDao.release(userId, batteryId);
}
// 切换前先按两张表的差集,把旧表里的失效绑定清掉
public void cleanStaleBindings() {
for (Binding old : oldBindingDao.listActive()) {
// 为什么改:以仍在维护的新表为准,旧表有、新表没有的记录就是已经失效的绑定
if (!newBindingDao.exists(old.getUserId(), old.getBatteryId())) {
oldBindingDao.release(old.getUserId(), old.getBatteryId());
}
}
}
下次遇到这些场景要警惕
- 给同一份数据准备两张表、再用开关按用户分流:先列出所有读它和写它的位置,用一个长期不活跃的账号把“借电池—退电池—退押金”整条流程走完,确认读和写落在同一张表;不要只验证灰度名单里的活跃账号。
- 分流的判断条件取用户最近一次操作:分别构造近期活跃和长期沉默的两类账号,对照它们的读路径与写路径,观察长期沉默的账号会不会被判到不再维护的那一侧。
- 迁移发布期间:跑一次两张表的差集统计,把“只在旧表有、新表没有”的记录数当成发布验收指标,观察它是否收敛到零,而不是只看接口成功率。
- 用户说操作已做完、系统说没做完:先查这条记录在几张表里存在、当前查询读的是哪一张,再决定怎么补偿;直接按页面提示重试,只会反复被同一条失效记录拦住。