发生了什么

换电网络里的每块电池都要定期向后台发一条心跳,说明自己还在网、通信链路是通的。后台要升级电池里的软件时,会先从待升级清单里选中电池,再给这块电池下发一条升级指令。原来的做法是选中就立即下发,电池当时可能并不在线,指令到不了它手上,成功率不高。为了改善这一点,想改成等电池的心跳到达时再下发:心跳说明它此刻在线,这时候把指令递过去更容易送达。这样后台就多了一项工作——消费心跳消息,按电池号找到待升级的指令,趁电池在线时把它发下去。

后台原本就有一个服务在消费心跳消息(下文称主服务),规格是 8 核 16G、共 15 台。这次新增的心跳监听没有放进主服务,而是放进了另一个从业务归属看更贴近电池管理的服务(下文称新增服务),规格只有 2 核 4G。两个服务都在消费这个心跳主题的消息。

上线走灰度发布,先替换一台机器。新机器上的消费者随发布启动,开关打开后开始接收心跳。结果是这台机器的 CPU 直接跑满,心跳消息没有被正常消费,而是被丢掉了。值班发现节点异常后把这台机器回滚,终止了本次发布,需求暂缓。

这次丢弃的消息数量、持续时长和业务影响没有确认;能确认的是这台灰度机器 CPU 被打满、消息没消费掉、发布回滚。

本质

一句话:这次是按“功能归哪个服务”选的位置,没有按“这条流量有多大、目标机器扛不扛得住”选容量。

  1. 主服务处理心跳已有一段时间,规格和实例数按这条流量配过:8 核 16G 乘 15 台,单台只承担一部分流量,还有余量。
  2. 新增的心跳监听让同一个主题多了一个消费者。消息总量没变,但处理这条流量的机器从 8 核 16G 换成了 2 核 4G,等于给同一份流量换了台小得多的机器。
  3. 出错的一步在选择目标服务:依据是业务归属(升级指令属于电池管理),没有把目标服务的规格、每秒要处理的消息量和单条处理成本放在一起算。方案评审时,对这台服务容量最熟悉的人临时有会没参加,评审后也没有补核对,容量这一项就没人提。
  4. 灰度开关也帮不上忙。这次开关只体现为“打开/不打开”:打开那一刻进来的是全量心跳,没有按比例或按电池号逐步放量的中间档。它控制的是这项功能要不要生效,不控制有多少消息进来,所以规格不够的问题在打开时立刻暴露。
  5. 结果:单台 2 核 4G 的机器处理不过来,CPU 被打满,消费能力不足,消息被丢弃。功能没有真正跑起来,只能回滚这台机器、终止发布。

灰度开关只能决定功能开不开,不能替服务证明放得下:开关打开时进来的是全量消息,规格不够的机器在第一分钟就会把问题暴露成 CPU 打满和消息丢弃。

处理分两步:先回滚这台机器,下掉新增服务里这段心跳监听,需求暂缓;再重新讨论放在哪实现。结论是主服务本来就在消费心跳主题,逻辑改到主服务里做,开发完成后重新发布;后续这个需求已经重新上线,但重新上线后的验证数据没有给出。

修复方向不是把 2 核 4G 换成更大的机器就算了,而是先确认这条流量该由谁承接:同一主题已有消费者,就把新逻辑挂到按流量配好规格的消费者上,不再另起一份消费、另配一份资源。确实要新起消费者时,先按每秒消息量乘单条处理耗时估算核数,再选规格,并在打开开关前用生产量级回放。

下面两段代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现;主题名、开关名和并发度为示意。

错误代码

// 新增服务里的心跳消费者(脱敏教学示例)
@Component
public class HeartbeatConsumer {

    // 为什么错:开关只有开、关两档,打开后全量心跳立即进入
    @Value("${battery.heartbeat.enabled:false}")
    private boolean enabled;

    // 为什么错:消费者被放进 2 核 4G 的机器,上线前没有算过这台机器
    // 每秒要处理多少条心跳、单条处理要花多少时间
    @KafkaListener(topics = "battery-heartbeat", concurrency = "8")
    public void onMessage(String payload) {
        if (!enabled) {
            return;
        }
        // 为什么错:每条心跳都同步解析并尝试下发,消费速度跟不上时
        // 消息只能被丢弃,CPU 也会被持续拉满
        BatteryHeartbeat hb = JSON.parseObject(payload, BatteryHeartbeat.class);
        dispatchService.tryDispatch(hb.getBatteryNo(), hb.getVersion());
    }
}

修复代码示例

// 修复:不在新增服务里另起消费者,把处理步骤挂到已承接心跳主题的主服务(脱敏教学示例)
@Service
public class HeartbeatDispatchHook {

    // 由主服务的消费者在原有心跳处理之后调用:该服务规格按心跳流量配过,
    // 不再新增一份消费,也就不需要给这条流量另配一份资源
    public void afterHeartbeat(BatteryHeartbeat hb) {
        if (!dispatchSwitch.isOn(hb.getBatteryNo())) {
            return; // 灰度仍按电池维度收窄处理范围,不改变消费者数量
        }
        dispatchService.tryDispatch(hb.getBatteryNo(), hb.getVersion());
    }

    // 若确实要新起消费者:启用前先按每秒消息量和单条耗时估算核数,
    // 和目标机器核数比对,不满足就不启用(数值示意)
    public void enableConsumer(double peakQps, double costMsPerMsg, int nodeCores) {
        long needCores = (long) Math.ceil(peakQps * costMsPerMsg / 1000.0 / 0.6);
        if (needCores > nodeCores) {
            throw new CapacityShortfallException(peakQps, costMsPerMsg, nodeCores);
        }
        consumerSwitch.on();
    }
}

两段代码改的是同一件事:错误版给同一个心跳主题又开了一份消费、按全量心跳逐条同步处理,容量缺口在上线那一刻才暴露;修复版不再新增消费者,把下发逻辑接到已经按流量配好规格的消费者上;若要新起消费者,启用前先按量级估算并与目标机器核数比对。

下次遇到这些场景要警惕

  • 把消费、定时任务这类跟着流量走的逻辑迁到另一个服务前:先列出这条流量每秒多少条、单条处理要花多少时间,算出需要几核,再拿候选服务的规格比对;在预发用生产量级回放一次,盯 CPU 和消费延迟,而不是只看功能是否跑通。
  • 用开关给新消费者做灰度时:先确认开关是只有开、关两档,还是能按比例或按业务键逐步放量。只有两档,就在打开前准备好回滚方式(能立刻停掉这个消费组),打开后一段时间内盯住 CPU、消费延迟和丢弃数。
  • 方案评审时:把“目标服务的规格与承载量”明确列成检查项;熟悉该服务的人缺席,就单独补一次核对,不能因为评审会开过就认为容量也评过。
  • 迁移前:先查同一个主题还有没有别的消费者。如果已有按流量配好规格的消费者,优先在它上面加处理步骤;多起一个消费组,等于多一份资源和一次容量评估。