发生了什么
电池这类硬件设备,在资产基础服务里各有一份档案,记录设备编号和当前状态。设备出现故障时,要把故障标记写到这份档案上,后续的故障处置按这个标记判断。写标记的入口是资产基础服务提供的一个上报接口:调用方传入设备编号和故障信息,服务更新这一台设备的档案,再返回一个结果码。这个接口一次只处理一台设备,同时按秒配置了调用上限——超过上限的请求不进入业务处理,直接返回非 0 的结果码;调用方的服务框架把非 0 当作调用异常,监控据此报警。
上游调用方是电池风险告警服务:它负责电池风险告警,判定某台电池需要进入故障处置时,就调用上面这个上报接口。这一次,资产基础服务从某一天起连续出现 QPS 报警,同一时段还夹着若干次限流触发的异常报警——被拒的请求返回非 0,调用方把它们记成接口异常。排查后确认,报警来自上游这批上报调用;接口本身的处理没有变慢,CPU、数据库和响应时间都没有明显变化,成功请求的耗时也正常。
处置分两步:先把资产基础服务的限流额度临时调高,让这批调用能进来,非 0 报警随之止住;再计划给上游提供批量上报接口,让它不必逐台调用。还有一个现象值得记下:这种逐台调用的方式在报警出现之前就已经存在,变的不是调用方式本身。
本质
一句话:上游按“一次处置一批电池、每台调一次接口”的方式发请求,资产基础服务却按“单台上报”的频次配了限流额度,批量到达时请求量越过额度,超出部分被拒绝并返回非 0,监控于是把一次正常的批量调用报成了接口异常。
- 资产基础服务把“上报一台设备的故障”做成一个接口,额度也按这个动作的日常频次配置:调用方处理一台、隔一会儿再处理下一台,请求之间是分散的。
- 电池风险告警服务接到一批需要处置的电池后,按台循环调用:每台一次远程请求,中间没有合并。一次处置要发出的请求数等于这批电池的台数。
- 这些请求集中在一个很短的时间窗内发出。资产基础服务按秒计额度,窗口内的请求数超过额度,多出来的就被拒绝。
- 被拒的请求不进入业务处理,返回非 0;调用方框架把非 0 记成调用失败,监控按失败率和返回码报警。外部看到的是“接口在抖”,实际是入口把超额的调用挡掉了。
- 这也解释了为什么 CPU、数据库和响应时间都正常:真正被处理的请求,量和耗时都没有异常,异常只出现在被拒的那一部分。
报警指向接口异常,但接口处理本身没有变慢;是逐台调用把瞬时请求量推过了按单台场景配置的限流额度。
临时调高额度能让报警消失,但它只是把上限抬高:只要上游仍按台调用,请求量就会随着一次处置的电池台数增长,下一次越线只是时间问题。修复方向是把“逐台”改成“按批”:下游提供批量接口,上游按批提交并控制发送节奏,让请求量由批次数决定,而不是由台数决定。记录里没有写这一步是否已经上线,上线状态待确认。
下面的错误与修复示例是脱敏教学代码,用来对照调用方式与限流额度的关系,不代表实际项目源码或已上线实现。
错误代码
// 上游:电池风险告警服务,逐台调用资产上报接口
public void submitFaultReports(List<RiskBattery> batteries) {
for (RiskBattery battery : batteries) {
// 为什么错:每台电池单独发一次远程调用,
// 一次处置的请求数等于电池台数,批量到达时瞬时放大
ReportResult result = assetClient.reportFault(
battery.getDeviceNo(), battery.getFaultCode());
if (!result.isSuccess()) {
log.warn("report failed, device={}", battery.getDeviceNo());
}
}
}
// 下游:资产基础服务,单台接口 + 按秒限流
public ReportResult reportFault(String deviceNo, String faultCode) {
// 为什么错:额度按“单台人工上报”的频次配置,
// 批量集中到达时,超出部分直接返回非 0
if (!rateLimiter.tryAcquire()) {
return ReportResult.fail("RATE_LIMITED"); // 调用方记为异常
}
faultAssetMapper.markFault(deviceNo, faultCode);
return ReportResult.ok();
}
修复代码示例
// 上游:改为按批提交,调用次数从“台数”降为“批数”
public void submitFaultReports(List<RiskBattery> batteries) {
for (List<RiskBattery> batch : partition(batteries, BATCH_SIZE)) {
FaultBatchRequest request = FaultBatchRequest.of(batch);
// 一批设备一次调用;BATCH_SIZE 与发送间隔按下游额度确定
BatchResult result = assetClient.reportFaultBatch(request);
if (result.hasRetryableFailure()) {
retryLater(result.getFailedItems()); // 只重试失败条目
}
pause(PACE_MILLIS); // 按额度节奏分散流量
}
}
// 下游:批量接口,一次按条目数占用额度
public BatchResult reportFaultBatch(FaultBatchRequest request) {
int size = request.getItems().size();
if (!rateLimiter.tryAcquire(size)) { // 按条数计额度,不再按调用次数
return BatchResult.rejected(request.getItems());
}
return faultAssetMapper.markFaultBatch(request.getItems());
}
下次遇到这些场景要警惕
- 给单条接口接入批量场景前,先算一次业务会发出的请求数(设备台数 × 每台调用次数),再对照下游接口的每秒额度,看峰值会不会越线;只看日常单台调用的速率,越线是看不出来的。
- 看到接口持续 QPS 或返回码报警时,先把 CPU、数据库、响应时间和成功请求的耗时拉出来看一遍;如果都正常,先查调用方的发送节奏和额度配置,不要直接去优化接口内部。
- 设计“一次操作多台设备”的入口时,优先提供批量接口,并约定批次大小、部分失败和整批重试的语义;暂时只能逐台调用时,由调用方自己分批和限速。
- 调整限流额度后,补一条接近额度的预警,让下一次在报警之前就能看到调用量在逼近上限。