发生了什么
这是一个多实例部署的内部数据服务:同一个服务在多台机器上各起一个实例,调用方不把机器地址写死在配置里,而是从注册中心取实例名单——注册中心统一登记“某个服务当前有哪些可用实例”,调用方按这份名单把请求轮流发到各个地址上。要有这一层,是因为实例会扩缩容、重启、迁移,地址一直在变。
正常下线一台实例的流程是:先从注册中心把它摘除,调用方收到实例变更通知后,把它从本地名单里去掉,不再往它发请求;等确认这台机器的入向流量降到零,再对它做重启、抓线程栈、堆转储这类维护动作。
这次要采集一台实例的内存快照。这种操作叫堆转储,做法是把 JVM 堆里存活的对象完整遍历一遍并写成文件。运维先在 18:41 把这台实例从注册中心摘除,大约两分钟后开始在它上面执行堆转储。堆转储要遍历整个堆,期间进程内存占用明显上升,应用线程长时间停顿,这台实例基本无法响应请求。
但摘除并不等于流量归零。调用方里有一部分是靠订阅注册中心的变更事件来维护自己那份实例名单的,事件一旦丢失,它们既收不到“这台实例已被摘除”的通知,也没有别的机制去核对名单,本地名单就停在旧版本上,请求继续被轮流发到这台正在做堆转储的机器。
结果就是:这台实例一边停顿、一边仍在接收请求,内存占用飙升后无法正常提供服务,调用方开始报错。系统自动重启后服务恢复,故障从 18:45 起持续约 1 分钟。受影响的请求量和业务量没有数据,这里不做推测。
本质
一句话:这次摘除只改了注册中心里的那份名单,没有真正切断流量;调用方还在按旧名单发请求,而目标实例正在做堆转储。
- 原流程。实例地址由注册中心统一维护,调用方订阅变更事件。摘除一台实例后,所有订阅方都应收到通知,把地址从本地名单里删掉;名单更新完成后,这台机器不再有入向流量,此时才轮到维护动作。
- 出错的一步。这些调用方的实例名单只从注册中心的变更事件里来:事件送到就更新,送不到就什么都不发生。这次摘除通知在传递或处理环节丢了,它们既没有重新订阅,也没有回注册中心核对的操作,本地名单一直停在旧版本,而且不报错。具体是订阅断连后没重连、回调里异常被吞掉,还是事件本身没送达,现有信息没有说明;但结果一致:摘除对这些调用方不生效。
- 为什么平时看不出来。名单过期在平时没有症状:被摘除的实例如果还活着、还能处理请求,流量打过去照样返回正确结果,看起来一切正常。只有在这台实例恰好不能服务时,问题才会以调用方报错的形式暴露,而且现象看起来像这个服务自己挂了。
- 这次为什么必然出问题。摘除后大约两分钟就开始堆转储,而堆转储会让进程停顿、内存占用飙升,这台实例从“名单过期但仍能服务”直接变成“真的不可用”;仍在往它发请求的调用方立刻收到错误。
- 恢复与修复方向。处置是等系统自动重启,服务随之恢复,这只解决了这一次的现象。修复方向有两处:调用方在订阅之外增加定期全量拉取实例名单的兜底,订阅重建后强制刷新一次,并对“名单长期没有更新”告警;运维侧在摘除实例后,先观察它的入向请求量真正降到零,再执行堆转储这类会让进程停顿的操作。实际修复代码与上线验证情况没有提供。
错误代码
// 服务发现客户端(脱敏教学示例)
public class InstanceListClient {
private volatile List<String> instances = new ArrayList<>();
public void start() {
// 为什么错:只在启动时订阅一次,之后事件丢了也没有第二次机会
registry.subscribe("/service/data-query", event -> {
try {
// 为什么错:解析异常被吞掉,名单没更新也不会有人知道
this.instances = parseInstances(event.getPayload());
} catch (Exception e) {
log.warn("apply instance event failed", e);
}
});
}
public String next() {
// 为什么错:只读本地名单,不核对它是否过期,也不回注册中心查一次
return instances.get(cursor.getAndIncrement() % instances.size());
}
}
修复代码示例
// 修复:订阅之外增加全量对齐与名单过期告警(脱敏教学示例)
public class InstanceListClient {
private volatile Snapshot snapshot = Snapshot.empty();
private final ScheduledExecutorService aligner = Executors.newSingleThreadScheduledExecutor();
public void start() {
registry.subscribe("/service/data-query", this::apply); // 实时更新仍然保留
// 修复:不管订阅是否还活着,都定期全量拉一次对齐(间隔为示意值)
aligner.scheduleWithFixedDelay(this::refreshAll, 0, 30, TimeUnit.SECONDS);
}
private void refreshAll() {
try {
apply(registry.fetchAll("/service/data-query"));
} catch (Exception e) {
// 修复:全量拉取失败要暴露出来,不能再像回调那样吞掉
log.error("full refresh failed", e);
}
}
private void apply(Snapshot next) {
// 修复:只接受更新的版本,避免迟到的旧响应把新名单覆盖回去
if (next.getVersion() >= snapshot.getVersion()) {
snapshot = next;
}
if (System.currentTimeMillis() - snapshot.getUpdatedAt() > 120_000L) {
alert.warn("instance list stale"); // 修复:名单长期未更新要能告警
}
}
}
两段代码改的是同一处:调用方不再把“订阅事件有没有送到”当成唯一的信息来源,而是用定期全量拉取兜底,并让过期的名单自己发出声音。运维侧没有代码可改,对应的动作改动是摘除之后先确认入向请求量归零,再执行堆转储。实际修复没有提供,这一节是按已确认原因推导的可采用方式,未实施也未验证。
下次遇到这些场景要警惕
- 准备对一台已摘除的实例做重启、抓线程栈或堆转储时:先看这台实例的入向请求量是否真的降到零,并连着观察几分钟;注册中心名单里没有它,不等于没有调用方还在往它发请求。
- 给调用方加实例订阅时:除了订阅回调,再设一个定期全量拉取的兜底,并构造一次事件丢失的场景(比如断开订阅连接,或在回调里抛异常),观察本地名单能否在预期时间内自动对齐。
- 名单长时间没有变化时:不要当成服务稳定,可能是订阅早就失效了;给“名单最后更新时间”加告警,让过期名单变成可见故障,而不是等某台实例停机时才暴露。
- 执行会暂停应用的诊断动作前:确认这台实例已经不承接流量,或者先把请求彻底切走;堆转储、线程栈抓取都不是对在线实例“无影响”的操作。
代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现。