发生了什么
换电柜、电池这类设备,每台在资产基础服务里都有一份基础档案,按设备编号可以查到这台设备的基础信息。别的服务要用这些信息时,不各自存一份,而是调用资产基础服务的查询接口按编号取。
正常流程是这样的:设备属性发生变化后,系统往消息队列里写一条属性变更消息;指标转换服务消费这些消息,处理时按消息里的设备编号去资产基础服务查一次档案,补上设备信息,再把这条变化换算成指标写出去。资产基础服务对每个实例的查询接口设了每秒调用上限,超过上限的请求会被直接拒绝并返回限流错误。这道上限是保护措施,挡的是超出处理能力的调用。
这一次,资产查询在同一个时段集中报了一批限流错误,持续大约 10 秒。同一时段,指标转换服务消费消息的速度上升,队列积压量被消化到低点。消息处理得快,按消息发起的资产查询就跟着变多:该接口在这一时段的处理量达到 2100 tps(每秒调用次数),越过了按单机 300 配置的限流线,超出的调用被拒绝,调用方拿到的就是报错。
能确认的影响到报错为止:这个时段内超出阈值的查询全部失败,指标转换服务拿不到对应的资产档案。被拒消息后续怎么处理、有没有造成数据差异,这次没有给出结论。
处理上分三步:先把单机限流阈值上调到 600,按原有实例规模约可支撑 4200 tps;然后在配置平台对接口调用次数加了预警规则,在触及阈值之前提前告警;等对资产服务做完压测,再按压测结果重新定阈值。
本质
一句话:这个接口的限流阈值是按经验定的固定值,既没留出应对上游节奏变化的余量,也没有提前预警,上游消费速度一变快,正常的业务调用就被自己的保护机制拒掉了。
- 原流程。消息队列承接设备属性变更消息,指标转换服务逐条消费,处理时按设备编号调用资产查询接口取档案。资产基础服务按实例设了每秒 300 次的上限,超出的请求返回限流错误。日常调用量在阈值以内,这条路径一直正常。
- 这一次的变化。指标转换服务在该时段消费消息的速率上升,队列积压量降到低点。处理的消息多了,转换前发起的资产查询就跟着变多,调用量不再是日常均值,而是随消费速度放大。
- 出错的一步在阈值本身。单机 300 这个值设定时没有压测依据,也没有和上游可能达到的消费峰值做对照;接口只在上限被突破时拒绝请求,事前没有任何预警,所以第一次知道调用量超了,是看到报错的时候。该时段处理量到 2100 tps,已越过按 300 折算出的总上限。
- 结果。越过上限的那部分调用被限流拒绝,对上游来说就是一次查询失败;报错持续约 10 秒,之后恢复。限流按配置生效,没有算错,错的是配置本身没有余量。
限流阈值是保护自己的最后一道线,不是容量结论:按日常调用量定的经验值,遇到积压追平、批量补跑这类节奏变化,会先把正常调用拒掉。
把阈值从 300 提到 600,等于把可用余量翻了一倍,能挡住这个量级的突增;但 600 同样是经验值,资产服务能稳定承受多少,还要等压测回答,在压测结论出来之前不能把它当成容量上限。修复方向是让阈值有依据、有预警:阈值按上游可能出现的峰值调用量来定,做成可调整的配置;在接近阈值时提前预警,让人在报错出现之前就看到调用量在往上走。预警规则配在配置平台上,不在业务代码里,代码侧要保证阈值可读、可调。
下面两段代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现;阈值、预警比例和方法名均为示意。
错误代码
// 资产查询接口的单机限流(脱敏教学示例)
public class AssetQueryService {
// 为什么错:阈值写成经验常量 300,既没有压测依据,
// 也没有和上游积压追平时可能达到的调用峰值对照过
private static final int LIMIT_PER_SECOND = 300;
private long windowStart = System.currentTimeMillis();
private int used = 0;
public AssetSimple queryByNos(List<String> nos) {
if (!tryAcquire()) {
// 为什么错:越过上限就直接拒绝,调用方只看到失败;
// 事前没有任何预警,超限只能等报错暴露
throw new RateLimitException("asset query limited");
}
return assetRepository.querySimple(nos);
}
private synchronized boolean tryAcquire() {
long now = System.currentTimeMillis();
if (now - windowStart >= 1000L) { windowStart = now; used = 0; }
if (used >= LIMIT_PER_SECOND) { return false; }
used++;
return true;
}
}
修复代码示例
// 修复:阈值走配置(示意 600),接近上限时先预警(脱敏教学示例)
public class AssetQueryService {
// 修复:阈值读配置,压测有结论后改配置即可调整,不用改代码发布
private volatile int limitPerSecond = config.getInt("asset.query.limit", 600);
private static final double WARN_RATIO = 0.8; // 示意比例,按实际余量要求定
private long windowStart = System.currentTimeMillis();
private int used = 0;
public AssetSimple queryByNos(List<String> nos) {
if (!tryAcquire()) {
throw new RateLimitException("asset query limited");
}
return assetRepository.querySimple(nos);
}
private synchronized boolean tryAcquire() {
long now = System.currentTimeMillis();
if (now - windowStart >= 1000L) { windowStart = now; used = 0; }
if (used >= limitPerSecond) { return false; }
used++;
if (used >= limitPerSecond * WARN_RATIO) {
// 修复:触及阈值前预警,人能在报错之前看到调用量在上升
warnCounter.increment();
}
return true;
}
}
两段代码改的是同一处:错误版把阈值写死成常量、只做拒绝;修复版把阈值换成可调配置,并让接近上限时先产生预警信号。阈值本身取多少仍要由压测决定,代码只负责让它可调、可见。
下次遇到这些场景要警惕
- 给接口设限流阈值时:先写清上游在积压追平、批量补跑、定时任务叠加时每秒会发出多少请求,拿这个峰值去对阈值,而不是拿日常均值;在预发按峰值压一次,看会不会出现限流拒绝。
- 上游消费节奏可能变化时:列出每条会调下游的路径,算出它在最快节奏下的请求量;把“调用量会随消费速度放大”写进变更评估,别只评估功能对不对。
- 配了限流预警规则后:用一次可控的流量抬升验证预警确实先于报错触发,并确认告警能送到处理人;只配规则没人看,等于没有预警。
- 用经验值当保护阈值时:记录这个值的来源、余量和未压测的状态;压测完成后按结果重设,不要把一次临时上调当成容量结论。