发生了什么
换电业务里,用户把没电的电池还进柜子、再取一颗满电的电池,这个动作会生成一笔换电订单。订单服务负责接收这类下单请求,校验用户和电柜的状态,再把订单记录写下来。这类服务不是只跑在一台机器上:同一套程序会在多台实例上同时运行,调用方按服务框架维护的实例名单,把请求轮流分给这些实例,一台处理不过来时,其他实例分担剩下的量。
每台实例上都配了接口限流:按秒统计本机收到的请求数,超过阈值就直接拒绝,不排队,也不转给别的实例。这样做是因为单台机器的处理能力有限:与其让请求在进程里堆积,不如快速失败。也正因为限流是按一台实例配的,它默认了「集群里平时有几台在分担」这个前提,阈值只对本机那一份负责,不知道此刻还有多少台实例在服务。
正常情况下,发布新版本是一台一台来的:先把一台实例从名单里摘掉,等它的在途请求处理完,再重启换成新版本,重新加入名单,确认它恢复服务后才动下一台。这样任意时刻最多只有一台实例在换版本,它原本承担的请求由其余实例接过去,每台多分到的量仍在限流阈值以内。
这次订单服务做业务发布时,发布策略没有按单台进行:一段时间里有多台实例同时不在服务状态,线上真正能接请求的节点明显少于平时。剩下的实例要接下全部流量,每台每秒收到的请求数随之上升,很快越过自己的阈值,超出的请求被直接拒绝,调用方拿到失败响应。服务框架按接口统计调用错误,短时间内错误集中出现,于是触发告警,从外部看就是接口在瞬时抖动。
这个接口不在核心链路上,确认的影响有限,没有扩散到主要业务流程。事后的处理是把发布策略调整为单节点暂停、逐个节点发布。
本质
一句话:限流阈值是按单台实例的容量配的,发布时一次让多台实例退出服务,剩下的实例被迫承接全部流量,本机阈值被突破,超出部分的请求被拒绝。
- 原流程已经完成的事:多台实例在名单里分担流量,每台大约只接总量的几分之一,单机限流阈值按这个份额留了余量。
- 发布这一步做的事:发布编排没有逐台切换,多台实例在同一段时间内不可用,在线实例数比平时更低。
- 剩下的实例接着发生什么:调用方按名单把请求发给还在服务的实例,每台的份额从「几分之一」涨到更大,本机每秒请求数越过阈值。
- 为什么会得到报错:限流是快速失败,超出的请求不排队、不进入业务处理,直接返回被拒绝。
- 为什么只抖一下:发布继续推进,换好版本的实例被陆续加回名单,在线实例数恢复,每台的份额落回阈值以下,错误随之停止,告警窗口很短。曲线像抖动,实际是发布过程中的容量缺口。
限流保护的是单台实例,发布期间的容量却是集群级的:按单机配的阈值撞上「多台同时离线」,正常请求会先被自己的保护机制拒掉。
修复方向是让发布期间的在线实例数始终不低于限流所假设的容量,做法是单节点暂停、逐个节点发布,任意时刻只少一台。要守住这个前提,发布编排还应在两台实例之间确认两件事——上一台已经恢复并接住流量,在线实例数仍不低于容量下限;不满足就停在原地,不继续往下推。单纯调大单机阈值并不解决问题,那等于用放宽保护来换取发布期间的余量。代码示例里额外的在线实例数下限校验属于同方向的加固写法,是否已按此实施尚未确认。
下面两段 Java 代码是按上述机制写的最小教学示例,用于对比「整批切换」和「逐台切换」,不代表实际项目源码或已上线实现;实例数量、阈值与等待时长均为示意。
错误代码
// 发布编排(教学示意):把新版本推到订单服务的各台实例
public class ReleaseJob {
public void release(List<Instance> instances, String version) {
// 为什么错:整批实例一起摘流再重启,发布期间在线节点数骤降,
// 剩下几台要接住它们的全部流量
instances.parallelStream().forEach(instance -> {
registry.disable(instance); // 从名单摘除,不再接新请求
instance.stop();
instance.start(version);
registry.enable(instance);
});
}
}
// 单机限流(教学示意):阈值按平时每台的份额配置
public class NodeRateLimiter {
private final RateLimiter limiter = RateLimiter.create(300);
public boolean tryAcquire() {
// 为什么错:阈值只按本机容量算,不感知在线实例数,
// 剩余实例承接成倍流量时必然越过
return limiter.tryAcquire();
}
}
修复代码示例
// 修复:逐台发布,每台之间校验容量,在线实例数始终只少一台
public class ReleaseJob {
public void release(List<Instance> instances, String version, int minOnline) {
for (Instance instance : instances) {
// 修复:先确认停掉这一台后,在线实例数仍不低于限流假设的容量
if (registry.onlineCount() - 1 < minOnline) {
throw new IllegalStateException("在线实例不足,暂停发布");
}
registry.disable(instance); // 只暂停这一台,不并行
waitInFlightDone(instance); // 等在途请求处理完,流量归零
instance.stop();
instance.start(version);
registry.enable(instance);
awaitReady(instance); // 新版本可服务后,才处理下一台
}
}
}
下次遇到这些场景要警惕
- 把「整批重启」「同时缩容」写进发布脚本前,先用单机限流阈值乘以发布期间剩余实例数,和同时段的峰值调用量对一遍;乘积低于峰值,就说明这套发布策略会撞限流。
- 发布过程中同时看接口错误率和在线实例数两条曲线,不要只看单机 CPU。错误集中出现而负载不高时,先查在线实例数是不是少了。
- 在发布编排里把「至少保留几台在线实例」写成硬校验,并在预发环境按线上峰值流量回放一次发布,观察剩余节点是否越过阈值。
- 接口被标成非核心链路,不等于发布时可以不做容量保护:调用量集中在少数节点时,限流照样会把正常请求挡掉。