发生了什么
换电业务的商户每月会拿到一份月账单,账单里按订单列出这个月产生了多少营收,商户依据它和平台对账。平台侧提供一个查询接口:调用方把一批订单号传进去,接口返回这些订单对应的营收明细。商户端每月初有一个同步任务,把上月的账单和明细从平台同步到商户侧,任务按批调用上面这个接口,一批一批取回。
正常情况是:同步任务在月初凌晨启动,按批发请求,接口逐批返回,任务跑完,商户这边能看到完整的月账单。这条接口平时只有内部任务在用,调用量不大,也没有放行限制。
八月下旬的一次改造改变了这个前提。为了避免账单侧的批量任务把用户侧服务压垮,两端给这条依赖接口加了保护:提供方按每秒放行的请求数做限流,调用方把大批量请求切成小批,账单、结算、用户三个服务都跟着调整。但配置时把提供方的额度按「整个集群每秒 5 个请求」设置,这个数字不随实例数放大;调用方的切批大小又是固定条数,没有跟这个放行速率对过。
月初凌晨同步任务启动,当月要处理的订单明细是平日的数倍,请求在很短时间内集中打到这条接口。超出额度的请求被限流拒绝,调用方把失败的批次放进重试,任务整体积压,用户侧服务在凌晨集中报错。记录写到任务有重试机制和补偿任务,最终把积压消化掉了、没有造成其他影响;积压持续了多久、涉及多少商户,记录没有给出。
本质
一句话:提供方把「整个集群每秒 5 个请求」当成额度,调用方又按固定条数切批,两个数字都没有按月初的真实请求量算过,多出来的请求只能被拒;被拒的批次再排队重试,就成了积压。
- 改造前,这条查询接口没有放行限制,同步任务按自己的节奏发请求。跑得慢,但不会因为超限而失败。
- 改造后提供方多了一道闸:每秒只放固定数量的请求。额度按集群总量配置,意思是所有实例加起来每秒只有 5 个名额,加机器不会让额度变大。
- 调用方的切批按固定条数,比如每 200 个订单一批。批大小直接决定请求数:明细越多,请求越多;月初的明细量是平日的几倍,同一个时间窗口里的请求数就远高于每秒 5 个。
- 超出的请求取不到名额,被提供方拒绝;调用方收到限流错误,把这一批放进重试。
- 重试的批次和后面正常的批次抢同一份额度,被拒得越多、重试越多,积压越滚越长。任务最后能跑完,靠的是重试和另外的补偿任务,不是限流本身变宽松了。
- 数据没有写错:被拒的批次没有完成,重跑即可。所以这次表现成同步延迟和凌晨报错,而不是账目不一致。
修复方向是两端一起调:调用方对这条接口的放行值配到 8,提供方从「集群 5」改成「单节点 5、整体 7」,让额度随实例数放大;配置仍不够时的方向是改查询方式,减少按订单逐条发起的请求,记录没有写具体改法。修复后两个数字还要按同一口径对齐——调用方每秒放 8 个、提供方整体每秒只放 7 个,多放出去的那部分照样会被拒。记录没有说明这次修复是否已上线,修复状态待确认。
限流额度和切批大小是一对参数:先算清下游整体每秒能放多少,再反推一批放多少条;两端口径不一致,单独调大哪一端都不解决问题。
错误代码
示例里调用方按固定 200 条切批,提供方按集群 5 个名额限流,被拒的批次直接丢回重试队列。
// 错误示例:固定切批 + 集群级限流(脱敏教学示例,类名与数值为示意)
public void syncMonthlyBill(String merchantId, String month) {
List<String> orderNos = orderMapper.listOrderNos(merchantId, month);
int batchSize = 200; // 为什么错:批大小写死,跟下游每秒放行多少没有关系
for (int i = 0; i < orderNos.size(); i += batchSize) {
List<String> batch = orderNos.subList(i, Math.min(i + batchSize, orderNos.size()));
try {
// 为什么错:一批一次请求,月初明细翻几倍就是几个请求,几分钟内全打出去
revenueClient.queryRevenueOrders(merchantId, batch);
} catch (RateLimitException e) {
// 为什么错:被拒的批次只丢回队列,没有退避也没有限速,
// 下一轮继续和正常批次抢同一份额度,积压越滚越长
retryQueue.offer(batch);
}
}
}
// 提供方:限额按整个集群配置
@RateLimit(key = "queryRevenueOrders", permits = 5) // 为什么错:5 是集群合计,实例扩容额度不跟着涨
public List<RevenueOrder> queryRevenueOrders(String merchantId, List<String> orderNos) {
return revenueOrderMapper.listByOrderNos(merchantId, orderNos);
}
修复代码示例
同一批入参,只把额度口径改成按实例算、由任务窗口内的请求数上限反推批大小,并给被拒批次加退避。
// 修复示例:额度按实例算、两端成对,批大小由窗口请求数上限反推(脱敏教学示例)
public void syncMonthlyBill(String merchantId, String month) {
List<String> orderNos = orderMapper.listOrderNos(merchantId, month);
// 修复:先算下游整体放行能力,再由“任务窗口内最多发多少请求”反推每批条数
int permitsPerSecond = quotaConfig.perNodePermits() * quotaConfig.nodeCount();
int maxRequests = permitsPerSecond * quotaConfig.syncWindowSeconds();
int batchSize = Math.max(1, (int) Math.ceil((double) orderNos.size() / maxRequests));
RateLimiter limiter = RateLimiter.create(permitsPerSecond); // 修复:调用方自限不高于下游总量
for (int i = 0; i < orderNos.size(); i += batchSize) {
List<String> batch = orderNos.subList(i, Math.min(i + batchSize, orderNos.size()));
limiter.acquire(); // 修复:发之前先取许可,超出的排队等待而不是被拒
try {
revenueClient.queryRevenueOrders(merchantId, batch);
} catch (RateLimitException e) {
sleeper.sleep(backoff.next()); // 修复:被拒后退避,不和正常批次抢同一份额度
retryQueue.offer(batch);
}
}
}
quotaConfig 与 backoff 是示意的配置对象,permitsPerSecond 等于单实例额度乘以实例数,maxRequests 是任务窗口内容许发出的请求数上限,批大小由总量除以它得到;这个额度要和提供方实际放行的总量对齐,调用方自己再限一道,是为了不让别的调用点把额度抢光。更彻底的改查询方式只在正文提了方向,没有写进示例。以上为教学示例,未编译、未运行。
下次遇到这些场景要警惕
- 给依赖接口加限流、切批时:先按「这个任务在峰值每秒会发几个请求」和「下游单实例放行数 × 实例数」算出两个数,再反推批大小;只配一端的阈值,多出来的请求照样被拒。
- 配置定时批量任务前:用月初、季初这类峰值数据量回放一次,观察日志里的限流报错条数、任务完成时间和重试次数;任务最终成功不代表中间没被拒、没积压。
- 看到「限流 + 积压」时:先确认被拒批次是否可重跑、重试有没有退避和速率约束,再确认补偿任务覆盖了哪些失败批次;只有重试没有补偿,或者补偿不覆盖全部批次,任务不会自己追平。
代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现;类名、方法名与数值均为示意。