发生了什么
换电业务里,用户在网点扫码换电池,网点现场装着电表,用电量由电表计量。每个网点自己承担这笔电费,也要付租金,两项分开出账:租金按合同算,电费按实际用了多少电算。为了让电费算得准,系统要留下每个网点每小时用了多少电的记录;出账时,账单程序按账期把这些小时记录加起来,得到这个网点这段时间的用电量,再折算成电费。
正常流程分三步。第一步,电表按固定间隔往上报电量,一条消息对应一次读数。第二步,一个专门的处理程序消费这些消息,把同一城市、同一小时的上报攒在一起,写进一个按小时和城市拼成的键;这个键里的成员就是该城市这一小时报过电量的网点,每个成员带着自己这一小时的累计电量。第三步,一个定时扫描任务按小时和城市把这个键里的网点读出来,逐个写进小时电量记录表;账单程序只认这张表。
这次出问题的城市,网点数量超过 1000 个。扫描任务读取这个城市这一小时的键时,起止下标仍然写成 0 和 1000,只取了这一段,排在读取范围之外的网点一次都没有被读出来,也就一条记录都没进小时电量记录表。账单程序出账时,这些网点整段账期没有电量记录,算不出电费,账单生成失败。已经确认的影响是部分网点电费账单生成失败;具体涉及多少网点、多少金额,暂时没有核对数据。
本质
问题不在电表上报,也不在账单计算,而在中间那一步“把缓冲区里的网点搬进记录表”只搬了一部分。
- 处理程序往缓冲区写的时候,代码里用了一个常量,把“单个城市一小时最多 1000 个网点”当成既定事实。这个数字成了后面读取时唯一依据的容量假设。
- 扫描任务读取时复用了同一个数字,把区间起点写成 0、终点写成 1000,而且只读一次,没有循环、没有接着取下一段。键里的成员是按分数排序的,排在读取范围之外的网点根本不在这段窗口里。
- 扫描任务只遍历读到的成员写库,既没有拿缓冲区的成员总数和写入条数对账,也没有在“还有剩余”时报错或告警。漏掉的网点既没有记录,也没有任何提示。
- 账单程序读这张表算电费,表里没有这些网点,电费自然算不出来,账单生成失败。
整条链路上没有异常抛出,任务每次运行都显示成功,所以这个问题不会自己暴露出来,只有等到出账少了一批网点才会被发现。1000 这个数字是代码里的假设上限,城市网点数一旦超过它,多出来的网点不会被读到,也没有人知道。
修复方向是:读取改成按批循环,一直取到取完(或者按城市实际规模一次取全),再用缓冲区的成员总数核对本次写入条数,数量对不上就告警;同时把已经漏掉的小时记录按受影响网点和电表号补回来,再重算这些网点的账单。记录里给出的处置是上线修复程序、提取受影响网点及电表号、修复数据,修复后的核对结果没有写明。分批读取还有一个前提:这个小时结束后不能再有新上报写进同一个键,否则读取过程中批次边界会移动,可能漏也可能重复;要么等小时封口后再读,要么写库按“小时加城市加网点”做覆盖写入,保证重跑不产生重复。
下面两段 Java 代码是按上述机制写的脱敏教学示例,只对比读取范围这一处改动,不代表实际项目源码或已上线实现。
错误代码
// 每小时电量写库任务(脱敏教学示例)
public class HourlyEnergyWriter {
// 为什么错:把“单个城市一小时最多 1000 个网点”写成常量,当成必然成立
private static final int NODE_RANGE = 1000;
private final RedisClient redis;
private final HourlyEnergyDao energyDao;
public void flush(String hour, String city) {
String key = "energy:" + hour + ":" + city;
// 为什么错:起止下标写死成 0 和 NODE_RANGE,只取这一段,
// 城市网点超过 1000 时,第 1001 位之后的网点不在窗口内,永远读不到
List<NodeEnergy> nodes = redis.zrangeWithScores(key, 0, NODE_RANGE);
for (NodeEnergy node : nodes) {
energyDao.save(new HourlyEnergy(hour, city, node.getNodeId(), node.getKwh()));
}
// 为什么错:不核对缓冲区里还有没有剩余成员,漏掉的网点不报错也不告警
redis.expire(key, ONE_DAY);
}
}
修复代码示例
// 同一段写库逻辑:分批读到取完,再用成员总数核对写入条数
public class HourlyEnergyWriter {
private static final int BATCH_SIZE = 500; // 批大小示意,不代表生产取值
private final RedisClient redis;
private final HourlyEnergyDao energyDao;
private final AlarmClient alarm;
public void flush(String hour, String city) {
String key = "energy:" + hour + ":" + city;
long expected = redis.zcard(key); // 这个小时的网点总数,作为核对基准
int written = 0;
long start = 0;
while (true) {
List<NodeEnergy> batch = redis.zrangeWithScores(key, start, start + BATCH_SIZE - 1);
if (batch.isEmpty()) break;
for (NodeEnergy node : batch) {
energyDao.save(new HourlyEnergy(hour, city, node.getNodeId(), node.getKwh()));
}
written += batch.size();
start += batch.size();
}
if (written != expected) { // 读取期间仍有上报写入时会走到这里
alarm.warn("hourly-energy-count-mismatch", key, expected, written);
}
}
}
下次遇到这些场景要警惕
- 给按城市、租户分组的缓冲区写读取任务时:先查这个键最坏能装多少成员(比如网点最多的城市),和代码里写死的区间、条数逐个对照;用成员数超过上限的输入跑一遍,观察任务是否能把成员取全,而不是只看前几条对不对。
- 批量读取后写库时:把缓冲区成员总数和写入条数打印出来比对,差异不为零就告警;只判断任务有没有抛异常,会漏掉“少写了一部分但一切正常”的情况。
- 读取与上报可能同时进行时:先确认这个小时是否已经封口,再决定能不能按偏移量分批;没封口就一边读一边追加,批次边界会移动,既可能漏成员,也可能把同一个成员写两遍。
- 修完读取逻辑后:先按受影响的网点和电表号把缺失的小时记录补回来,再重跑这些网点的账单;只改读取代码,已经出错的账单不会自己恢复。