发生了什么

换电业务里,站点上放着换电柜,柜子分成一个个格口,每个格口存一颗电池,用户扫码取还。格口有自己的状态:空闲、占用、故障。运维或商户在前台修好一个格口后,会把它从故障改回空闲,这个动作叫“解除故障”。

除了一格格的口明细,系统还给每台柜机单独存了一条汇总记录,其中一个字段记着“这台设备当前有多少个格口处于故障”。设备列表页展示的就是这个数字,点进设备详情看到的则是一个个格口的真实状态。正常情况下两者一致:解除一个格口的故障,格口状态变成空闲,汇总数同时减一。

12 月 19 日下午,一名商户对一台设备做了一次批量解除。这台设备当时有 8 个故障格口,他在商户端把它们全部选中,一次提交。提交后格口都恢复成空闲,设备详情里确实一个故障格口也没有了;但设备列表上这台设备仍显示 7 个故障格口,与详情对不上。商户回到详情页想继续处理,已经找不到可解除的格口,列表上的数字也不会自己降下来。

后续处理是把这个减数动作改成数据库的一条原子更新,另外用一个离线任务按格口明细重算已经被写错的存量汇总,这类错数据当时有 4 条。

本质

一句话:8 个格口的解除请求几乎同时到达,每个请求都把“读汇总数、减一、写回”当成自己独立的一步,后写的请求用自己算出的旧结果盖掉了别人已经减过的值。

  1. 商户端一次提交批量解除,系统对每个选中的格口各触发一次解除。8 个请求几乎同时打到后端,改的是同一台设备的 8 个不同格口。
  2. 每个请求先把自己负责的格口状态改成空闲,然后调用同一个计数方法,把设备汇总记录里的故障数减一。
  3. 这个方法的做法是:按设备编号把整条设备记录查出来,在内存里取出故障数,减一,再按设备编号把新值写回去。读、算、写分成三步,中间没有任何互斥。
  4. 8 个请求读到的是同一份旧快照,比如都读到 8,各自算出 7,然后一个接一个写回 7。每次写入都是整值覆盖,后一次盖掉前一次,8 次“减一”最终只生效了 1 次。
  5. 汇总数停在 7,而格口明细实际上已经全部空闲。列表读汇总记录,详情读格口明细,两个页面各说各话。

这里丢掉的不是某一次格口状态更新,格口状态是按格口分别更新的,所以状态本身是对的;出问题的是那个被所有请求共享的计数字段:并发请求基于同一旧值各自计算,写入时互相覆盖,属于典型的更新丢失。商户看到列表上还有 7 个故障格口,点进详情却一个都找不到,既没法核对,也没法自己把数字改回来。

修复方向是去掉应用层的“先读后写”,把减法交给数据库执行:fault_count = fault_count - 1 在行锁内完成,再加 fault_count > 0 兜住已经减到 0 的情况。已经写错的存量汇总不会因为改代码自动恢复,需要按格口明细重算。

错误代码

// 商户端每解除一个格口的故障,就会调用一次这个方法(脱敏教学示例)
public void decreaseFaultCount(String deviceNo) {
    // 为什么错:先把整条设备记录读出来,读到的只是这一刻的旧值
    DeviceInfo device = deviceInfoMapper.selectByDeviceNo(deviceNo);
    Integer faultCount = device.getFaultCount();
    if (faultCount == null || faultCount <= 0) {
        return;
    }

    // 为什么错:减一是在应用内存里算的,
    // 同一时刻的其它请求也在用自己的快照算,彼此看不见
    int next = faultCount - 1;

    // 为什么错:按设备编号把算出的新值整值写回,
    // 后提交的请求会把别人已经写进去的结果直接盖掉
    deviceInfoMapper.updateFaultCount(deviceNo, next);

    log.info("device {} fault count {} -> {}", deviceNo, faultCount, next);
}

修复代码示例

// 修复:把“读-算-写”交给数据库一条语句完成(脱敏教学示例)
// mapper:用原子自减代替应用层算出的中间值
@Update("update device_info " +
        "set fault_count = fault_count - 1, update_time = now() " +
        "where device_no = #{deviceNo} and fault_count > 0")
int decreaseFaultCountAtomically(@Param("deviceNo") String deviceNo);

// service:每解除一个格口的故障后调用
public void onGridFaultCleared(String deviceNo) {
    // 修复:减法在行锁内执行,8 个并发请求依次累减,不会互相覆盖
    int affected = deviceInfoMapper.decreaseFaultCountAtomically(deviceNo);

    if (affected == 0) {
        // 修复:已经减到 0 就命中不了行,打日志跳过,不会写出负数
        log.warn("fault count already zero, device={}", deviceNo);
    }
}

存量数据另起一个离线任务,按格口明细把设备的汇总数整值重算一遍:统计该设备下状态为故障的格口条数,写回汇总字段。这类任务只修正已经写错的行,不能替代上面的原子更新,否则下一次并发还会继续产生新的错值。

下次遇到这些场景要警惕

  • 设计计数或汇总字段:先确认它会被几条请求同时修改。凡是“查出来、在应用里算、再写回”的写法都要换成一条带条件的更新语句,update ... set c = c - 1 where c > 0,用影响行数判断是否真的改到了数据。
  • 做批量操作:构造一次批量提交,让同一台设备、同一条汇总记录被并发修改多次(本例是 8 个格口一起解除),提交后立刻对比明细条数与汇总字段。只测单个格口解除,永远看不到这个错误。
  • 页面同时存在列表和详情:这往往意味着两个数据来源,一个读汇总、一个读明细。改完数据要两边都查,比较数字是否一致,不要只刷新其中一个页面就认为通过。
  • 计数类的减法:检查有没有下限保护,并发或重复请求下会不会把数字减成负数;同时在代码评审时留意“先 select 再 update”的成对写法,这类写法在单线程测试里完全正常。