发生了什么

换电柜是给用户取放电池的柜子,运行中会持续往后台上报数据:每次换电、每个仓位的状态变化、设备自检结果,都会作为一条消息发出来。柜子数量多、上报间隔短,这些消息在后台构成一条持续的高频流量。后台有一个接入程序订阅这类消息,把柜子上报的数据消费下来,再交给后续业务程序使用;平时它和其他实例一起常驻,按这个量持续消费。

发布新版本时,通常用新实例替换旧实例:新实例先启动,完成自身初始化后再接替旧实例的工作。初始化包括加载配置、建立数据库连接、准备好依赖的下游客户端,目的是让实例先具备处理能力,再对外接流量。

这次这个接入程序的新实例把顺序反了过来:一启动就订阅消息、开始拉取,其余初始化步骤还没走完。发布期间机柜上报并没有停,新实例刚起来就被成批的高频消息灌入,节点的处理能力瞬间被占满,启动流程推进不下去,实例没能在预期时间内启动完成。这次发布因此被记为异常,新实例没有正常起来。记录没有说明异常持续了多久,也没有说明是否影响到线上换电。

本质

问题出在“什么时候开始接消息”这个顺序上,消息本身和消费逻辑都没有错。

  1. 平时,线上已有实例持续消费机柜上报,这条流量一直在跑,消费是正常的。
  2. 发布开始,新实例启动。启动过程里有两件事:完成自身初始化,以及注册消费者开始接消息。
  3. 这次启动程序把第二件事排到了前面:容器一起来就先启动消息监听,初始化还没完成就已经开始拉取消息。
  4. 发布窗口里机柜上报照常是高频的,新实例没有预热、没有限流,一上来就面对全量流量。
  5. 消息持续进入,占用新实例的处理线程与内存,初始化步骤拿不到足够资源,迟迟推进不完。
  6. 启动最终没有完成,节点被判为没有正常起来,这次发布以异常结束。

一句话:让还没初始化完成的实例先去接全量消息,等于把启动最脆弱的阶段暴露在最高频的流量下。

记录里的处理结果只写了已处理,没有留下具体改动内容,因此下面给的是修复方向,是否已按此上线未确认:把消息监听的启动时机挪到初始化完成、实例就绪之后;启动阶段限制并发和预取量,积压超过阈值时先暂停拉取;就绪检查通过之后才允许承接流量。

下面两段 Java 为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现;主题名、并发数和阈值均为示意。

错误代码

@Component
public class CabinetDataConsumer {

    private MessageListenerContainer container;

    @PostConstruct
    public void init() {
        container = new MessageListenerContainer("cabinet-report", this::onMessage);
        // 为什么错:在初始化阶段就启动监听,数据库连接池、
        // 配置和下游客户端此时都还没准备好
        container.setConcurrency(16);
        // 为什么错:一启动就按生产并发全量拉取,发布窗口里的
        // 高频上报会瞬间占满节点,初始化步骤推进不下去
        container.start();
    }

    private void onMessage(CabinetReport report) {
        cabinetService.save(report);
    }
}

修复代码示例

@Component
public class CabinetDataConsumer implements ApplicationListener<ApplicationReadyEvent> {

    private MessageListenerContainer container;

    @Override
    public void onApplicationEvent(ApplicationReadyEvent event) {
        container = new MessageListenerContainer("cabinet-report", this::onMessage);
        // 修复:等初始化完成、实例就绪后才注册并启动消费
        container.setConcurrency(4);
        container.setPrefetchCount(20);
        container.start();
    }

    private void onMessage(CabinetReport report) {
        // 修复:积压超过示意阈值先暂停拉取,回落后再恢复,
        // 不让发布窗口的高频消息把节点一次性占满
        if (container.getPendingCount() > 1000) {
            container.pause();
        } else if (container.getPendingCount() < 200) {
            container.resume();
        }
        cabinetService.save(report);
    }
}

下次遇到这些场景要警惕

  1. 发布前用生产量级的机柜上报回放一次启动:让消息主题里保持真实流量,再启动新实例,观察从启动到就绪的耗时和初始化是否完成。用空队列验证启动,恰好会漏掉这类问题。
  2. 列出实例启动时所有会“开始接外部流量”的动作,包括消息监听、定时任务、注册中心注册和健康检查端口,逐个确认它们都发生在初始化完成之后;有组件在初始化阶段就注册消费者,要单独审一遍。
  3. 滚动发布时逐台替换,确认新实例通过就绪检查后再停止旧实例,同时观察发布期间实例是否反复重启、发布是否被中止。
  4. 给消费端补启动期保护:限制并发与预取、积压超阈值暂停拉取,并让就绪检查覆盖消息积压和资源水位,用突发流量验证节点不会被瞬间占满。