发生了什么
电池的工况信息由上游服务采集,逐条以消息发到一个专门的主题上。下游有一个程序订阅这个主题,把每条消息解析成对象,再读取其中关心的字段做处理。按正常节奏,消息里要新增一个字段时,生产方先把字段加进消息体并发布,消费方之后才开始读这个字段,这样消费方运行期间收到的每条消息都带着它。
这次的需求要新增“充电状态”字段(chargeStatus):消息体由上游改,读取逻辑由消费方改。两边的上线时间没有对齐。上游的改造被安排在第二天,改造方也没有意识到自己的服务要在当天上线,当天的上线计划里没有列这个服务;消费方却在当天晚上发布了新版本,发布后就把充电状态字段纳入了处理逻辑。
发布后不久,消费方日志里出现大量空指针异常。这段时间收到的消息仍由旧版上游发出,消息体里没有充电状态字段,解析出来的对象该字段是空值,消费方代码直接在这个空值上取值和比较,于是每条消息都抛一次异常。异常把日志刷满,告警在十分钟内命中,运维先摘掉问题实例,再回滚镜像,异常随之停止。业务侧没有实际影响。事后复盘还提到,这次发布连发两个批次才从日志里看出错误,没有按灰度发布的节奏逐批观察。
本质
一句话:消费方比上游早上线,却把“充电状态字段一定存在”当成前提写进了代码;上游还没开始发这个字段,这段时间的每条旧消息都触发一次空指针。
- 正常流程。上游发出带充电状态的消息,消费方解析后读取这个字段,按充电状态走后续处理。字段从哪一天开始存在,取决于上游的发布,不取决于消费方的发布。
- 这次的不同。需求把消息体改造和读取改造拆给两个服务,各自排期。上游排在第二天,消费方排在当天晚上,双方都只看自己的排期,没有把“消费方先上线时收到的是旧格式消息”当成一种需要处理的状态。
- 出错的一步。消费方新代码拿到消息对象后,直接调用充电状态字段做取值和比较,既没有判断字段是否为空,也没有准备默认值。旧版上游的消息反序列化后该字段为空,第一次解引用就抛空指针。
- 为什么不是偶发。消息逐条消费,旧版上游在这段时间发出的每条消息都缺这个字段,所以异常不是一条两条,而是持续刷屏;异常又按条打印,日志量在几分钟内放大到淹没正常日志。
- 结果与处置。告警十分钟内命中,摘实例加回滚镜像后异常停止。上游按原计划在第二天上线,消息里才开始带充电状态。消费方重新发布的时间、以及补上兼容后的验证结果没有记录,修复上线状态待确认。
消费方先上线时,代码必须按“字段可能不存在”来写,不能等上游发完字段再回头补判空。
复盘把问题归到交接和自测:需求交接时,原来负责的开发人员没有交接自己写的代码和服务;接手的人在一条没有合入主干、也没有完整自测的分支上继续开发,测试时上游的版本和线上真正运行的版本不一致,缺少“新字段不存在”这条路径。修复方向是:消费方读取新增字段时先判空并给默认值;上线顺序上要么等生产方全量发布后再切换读取,要么先用开关关掉读取,等字段稳定再打开;把历史消息样本纳入兼容回归;交接文档写清服务、订阅的主题、字段和上下游上线依赖。
错误代码
// 消费电池工况消息并处理充电状态(脱敏教学示例)
public class BatteryCondition {
private String batteryId;
// 上游旧版本不发送该字段,反序列化后该属性为 null
private ChargeStatus chargeStatus;
}
public void onMessage(String payload) {
BatteryCondition condition = objectMapper.readValue(payload, BatteryCondition.class);
// 为什么错:没有判断 chargeStatus 是否为空,旧版上游的消息里根本没有这个字段
// 为什么错:在空值上直接取值/比较,第一条旧消息就会抛 NullPointerException
if (condition.getChargeStatus().getCode() == CHARGING) {
handleCharging(condition);
} else {
handleIdle(condition);
}
// 为什么错:异常逐条抛出,消息处理被打断,日志很快刷满
}
修复代码示例
// 修复:读取新增字段前先判空,缺失时走明确的默认分支(脱敏教学示例)
public void onMessage(String payload) {
BatteryCondition condition = objectMapper.readValue(payload, BatteryCondition.class);
ChargeStatus status = condition.getChargeStatus();
// 修复:字段可能缺失,先判空,再决定这一条怎么处理
if (status == null) {
// 修复:旧格式消息按“未知”处理并计数,不抛异常、不影响其他字段的处理
unknownStatusCounter.increment();
handleUnknown(condition);
return;
}
if (status.getCode() == CHARGING) {
handleCharging(condition);
} else {
handleIdle(condition);
}
}
两段代码改的是同一处:把“假设字段必存在并直接解引用”改成“先判空、给默认状态、旧消息不影响其他字段”。默认状态不能随意映射成“正在充电”或“未充电”,否则会把缺失字段误判成真实工况。代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现;类名、方法名、枚举值均为示意。
下次遇到这些场景要警惕
- 消息体要新增字段、由两个服务分别上线时:先列出这个主题的所有生产方和消费方,标出各自上线日期;只要消费方先上线,就准备一份不含新字段的历史消息样本,用它跑一遍消费逻辑,确认不抛异常。
- 消费方开始读取一个刚新增的字段时:逐处检查取值、比较、枚举转换有没有先判空,并确认默认值不会把“未知”算成“正在充电”或“未充电”这类会改变业务结果的取值。
- 发布按批次灰度时:每发完一批就看异常日志和告警再决定是否继续,不要连发两批后才回头查日志;发布窗口内重点看新字段相关的异常类型。
- 接手别人负责的服务时:确认代码基于已提交的主干、测试运行的版本与要发布的版本一致;交接文档里写清订阅的主题、消息字段,以及上下游各自的上线依赖。