发生了什么
换电网络里的每块电池都要定期向后台发一条心跳,说明自己还在网、通信链路是通的。后台要升级电池里的软件时,会先从待升级清单里选中电池,再给这块电池下发一条升级指令。原来的做法是选中就立即下发,电池当时可能并不在线,指令到不了它手上,成功率不高。为了改善这一点,想改成等电池的心跳到达时再下发:心跳说明它此刻在线,这时候把指令递过去更容易送达。这样后台就多了一项工作——消费心跳消息,按电池号找到待升级的指令,趁电池在线时把它发下去。
后台原本就有一个服务在消费心跳消息(下文称主服务),规格是 8 核 16G、共 15 台。这次新增的心跳监听没有放进主服务,而是放进了另一个从业务归属看更贴近电池管理的服务(下文称新增服务),规格只有 2 核 4G。两个服务都在消费这个心跳主题的消息。
上线走灰度发布,先替换一台机器。新机器上的消费者随发布启动,开关打开后开始接收心跳。结果是这台机器的 CPU 直接跑满,心跳消息没有被正常消费,而是被丢掉了。值班发现节点异常后把这台机器回滚,终止了本次发布,需求暂缓。
这次丢弃的消息数量、持续时长和业务影响没有确认;能确认的是这台灰度机器 CPU 被打满、消息没消费掉、发布回滚。
本质
一句话:这次是按“功能归哪个服务”选的位置,没有按“这条流量有多大、目标机器扛不扛得住”选容量。
- 主服务处理心跳已有一段时间,规格和实例数按这条流量配过:8 核 16G 乘 15 台,单台只承担一部分流量,还有余量。
- 新增的心跳监听让同一个主题多了一个消费者。消息总量没变,但处理这条流量的机器从 8 核 16G 换成了 2 核 4G,等于给同一份流量换了台小得多的机器。
- 出错的一步在选择目标服务:依据是业务归属(升级指令属于电池管理),没有把目标服务的规格、每秒要处理的消息量和单条处理成本放在一起算。方案评审时,对这台服务容量最熟悉的人临时有会没参加,评审后也没有补核对,容量这一项就没人提。
- 灰度开关也帮不上忙。这次开关只体现为“打开/不打开”:打开那一刻进来的是全量心跳,没有按比例或按电池号逐步放量的中间档。它控制的是这项功能要不要生效,不控制有多少消息进来,所以规格不够的问题在打开时立刻暴露。
- 结果:单台 2 核 4G 的机器处理不过来,CPU 被打满,消费能力不足,消息被丢弃。功能没有真正跑起来,只能回滚这台机器、终止发布。
灰度开关只能决定功能开不开,不能替服务证明放得下:开关打开时进来的是全量消息,规格不够的机器在第一分钟就会把问题暴露成 CPU 打满和消息丢弃。
处理分两步:先回滚这台机器,下掉新增服务里这段心跳监听,需求暂缓;再重新讨论放在哪实现。结论是主服务本来就在消费心跳主题,逻辑改到主服务里做,开发完成后重新发布;后续这个需求已经重新上线,但重新上线后的验证数据没有给出。
修复方向不是把 2 核 4G 换成更大的机器就算了,而是先确认这条流量该由谁承接:同一主题已有消费者,就把新逻辑挂到按流量配好规格的消费者上,不再另起一份消费、另配一份资源。确实要新起消费者时,先按每秒消息量乘单条处理耗时估算核数,再选规格,并在打开开关前用生产量级回放。
下面两段代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现;主题名、开关名和并发度为示意。
错误代码
// 新增服务里的心跳消费者(脱敏教学示例)
@Component
public class HeartbeatConsumer {
// 为什么错:开关只有开、关两档,打开后全量心跳立即进入
@Value("${battery.heartbeat.enabled:false}")
private boolean enabled;
// 为什么错:消费者被放进 2 核 4G 的机器,上线前没有算过这台机器
// 每秒要处理多少条心跳、单条处理要花多少时间
@KafkaListener(topics = "battery-heartbeat", concurrency = "8")
public void onMessage(String payload) {
if (!enabled) {
return;
}
// 为什么错:每条心跳都同步解析并尝试下发,消费速度跟不上时
// 消息只能被丢弃,CPU 也会被持续拉满
BatteryHeartbeat hb = JSON.parseObject(payload, BatteryHeartbeat.class);
dispatchService.tryDispatch(hb.getBatteryNo(), hb.getVersion());
}
}
修复代码示例
// 修复:不在新增服务里另起消费者,把处理步骤挂到已承接心跳主题的主服务(脱敏教学示例)
@Service
public class HeartbeatDispatchHook {
// 由主服务的消费者在原有心跳处理之后调用:该服务规格按心跳流量配过,
// 不再新增一份消费,也就不需要给这条流量另配一份资源
public void afterHeartbeat(BatteryHeartbeat hb) {
if (!dispatchSwitch.isOn(hb.getBatteryNo())) {
return; // 灰度仍按电池维度收窄处理范围,不改变消费者数量
}
dispatchService.tryDispatch(hb.getBatteryNo(), hb.getVersion());
}
// 若确实要新起消费者:启用前先按每秒消息量和单条耗时估算核数,
// 和目标机器核数比对,不满足就不启用(数值示意)
public void enableConsumer(double peakQps, double costMsPerMsg, int nodeCores) {
long needCores = (long) Math.ceil(peakQps * costMsPerMsg / 1000.0 / 0.6);
if (needCores > nodeCores) {
throw new CapacityShortfallException(peakQps, costMsPerMsg, nodeCores);
}
consumerSwitch.on();
}
}
两段代码改的是同一件事:错误版给同一个心跳主题又开了一份消费、按全量心跳逐条同步处理,容量缺口在上线那一刻才暴露;修复版不再新增消费者,把下发逻辑接到已经按流量配好规格的消费者上;若要新起消费者,启用前先按量级估算并与目标机器核数比对。
下次遇到这些场景要警惕
- 把消费、定时任务这类跟着流量走的逻辑迁到另一个服务前:先列出这条流量每秒多少条、单条处理要花多少时间,算出需要几核,再拿候选服务的规格比对;在预发用生产量级回放一次,盯 CPU 和消费延迟,而不是只看功能是否跑通。
- 用开关给新消费者做灰度时:先确认开关是只有开、关两档,还是能按比例或按业务键逐步放量。只有两档,就在打开前准备好回滚方式(能立刻停掉这个消费组),打开后一段时间内盯住 CPU、消费延迟和丢弃数。
- 方案评审时:把“目标服务的规格与承载量”明确列成检查项;熟悉该服务的人缺席,就单独补一次核对,不能因为评审会开过就认为容量也评过。
- 迁移前:先查同一个主题还有没有别的消费者。如果已有按流量配好规格的消费者,优先在它上面加处理步骤;多起一个消费组,等于多一份资源和一次容量评估。