发生了什么
车辆是平台投放运营的两轮电动车资产。每辆车在系统里有一条档案,记着车辆编号、所属网点、车型规格等信息。新到一批车时,运营在后台做批量导入:一次提交一批车辆,系统逐条校验并写入车辆档案。
车辆档案写入后,并不是所有下游系统都同步跟着写。系统把数据库的变更日志(binlog)投递到消息队列,其它服务订阅这些消息,按自己的节奏处理。这样导入接口只负责把车写进库,后续的关联处理由消费程序异步完成。正常流程是:导入少量车辆,产生少量变更消息,消费程序逐条处理;每条消息需要车辆规格时,向车辆服务查询一次(记录中称 SPU 查询),拿到结果后继续。下游调用量保持在限额内,查询正常返回。
这次运营一次性导入了一批车辆。短时间内的写入让 binlog 集中增加,消息队列里的消息量随之上涨。消费程序快速拉取消息,每秒处理量迅速升高。消费过程中要反复查询车辆规格,相同规格被多次查询,程序没有在本地保留查询结果;对下游调用也没有单独的频率上限。车辆服务的查询接口有调用频率限制,瞬时请求超过阈值后,这批查询被限流拒绝。调用方记录到大量限流异常,对外表现为服务短暂报错。导入结束、积压消息消化完后,调用量回落,报错随之停止。
故障期间确认可见的结果是车辆规格查询被拒、限流异常日志明显增多。是否有车辆档案因此没有处理完成、是否影响后续业务,记录没有说明,本文不做推断。
本质
一句话:一次批量导入被变更日志和消息队列放大成一批下游查询,消费程序对每条消息都实时查一次、相同结果不复用,也没有给下游调用设上限,最终把下游打到限流。
- 运营提交批量导入,导入程序把这批车辆逐条写入车辆档案。
- 数据库为每次写入产生变更日志;同步组件把这些变更投递成消息队列中的消息。导入的车辆越多,集中产生的消息越多,写入量在这里被放大成消息量。
- 消费程序快速拉取消息,消费速度随消息堆积上升。它没有按下游的承受能力控制取用和调用节奏。
- 处理消息时,程序调用车辆服务的 SPU 查询接口获取车辆规格。同一份规格信息会被反复用到,但程序每次都重新发请求,没有用本地缓存复用上一次的结果。
- 车辆服务的查询接口有调用频率上限。消费 TPS 升高后,瞬时查询量超过上限,车辆服务开始拒绝请求,调用方收到限流错误。
- 消费程序把限流错误记进日志,异常数量在短时间内明显上升,对外表现为服务短暂报错。消息消化完后流量回落,报错停止。
批量导入本身没有错,错在消费链路把“每条消息实时查一次下游”当成固定做法,既不复用相同结果,也不限制出站调用,导入的写入量被原样放大成下游的查询量。
修复方向是:对相同规格的查询结果加本地缓存,避免同一份数据被反复请求;对出站调用设置并发或速率上限;下游被限流时按预案降级,例如暂停消费、退避后重试或跳过非关键查询。记录没有说明这些改动是否已经上线、是否验证过,本文只写方向。
下面两段代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现。
错误代码
// 消费车辆变更消息(脱敏教学示例)
@KafkaListener(topics = "vehicle-change")
public void onMessage(VehicleChangeMessage message) {
// 为什么错:处理消息时都实时调用下游,
// 批量导入产生的消息越多,下游查询就越多
// 为什么错:调用前没有任何速率限制,
// 消费速度一升高,请求就直接越过下游的配额
SpuInfo spu = vehicleClient.querySpu(message.getSpuCode());
// 为什么错:同一份规格会被反复用到,
// 这里没有本地缓存,相同查询被一遍遍发出去
vehicleArchiveService.apply(message, spu);
}
修复代码示例
// 修复:相同规格只查一次,出站调用先取令牌(脱敏教学示例)
private final Cache<String, SpuInfo> spuCache = Caffeine.newBuilder()
.maximumSize(10_000)
.expireAfterWrite(Duration.ofMinutes(10)) // 示意值
.build();
private final RateLimiter downstreamLimiter = RateLimiter.create(200); // 示意值,按下游配额配置
@KafkaListener(topics = "vehicle-change")
public void onMessage(VehicleChangeMessage message) {
SpuInfo spu = spuCache.get(message.getSpuCode(), code -> {
// 修复:只有缓存未命中才请求下游,且必须先拿到令牌
if (!downstreamLimiter.tryAcquire(1, TimeUnit.SECONDS)) {
// 修复:拿不到令牌就抛给外层退避或降级,不继续加压
throw new DownstreamBusyException(code);
}
return vehicleClient.querySpu(code);
});
vehicleArchiveService.apply(message, spu);
}
修复代码只做两件事:相同规格先查本地缓存,只有未命中才真正请求下游;请求前先取令牌,拿不到就抛出可识别的异常,交给外层按配置退避或降级,而不是继续按原速度打下游。缓存过期时间、令牌速率都是示意值,实际要按下游配额和业务容忍度配置。缓存还要考虑过期瞬间的集中回源,避免把限流问题换成缓存击穿。
下次遇到这些场景要警惕
- 做批量导入或批量写库:先估算一次导入会产生多少条变更消息、每条消息会调用几次下游;然后用接近峰值的量跑一次,观察消费 TPS、下游 QPS 和限流错误数,不要只看导入接口返回成功。
- 消费链路里带实时查询:列出每条消息会调用的下游接口,确认相同入参会不会在短时间内重复出现;对可复用的结果加本地缓存,并检查缓存过期后是否会出现集中回源。
- 下游有调用配额:给每条出站链路设并发或速率上限,明确被限流时是等待、暂停消费还是降级;确认失败重试不会把请求量再次放大。
- 看监控:把消费堆积、消费 TPS、下游限流异常放在同一张图上;批量操作前后对比曲线,区分“业务量正常上涨”和“程序重复查询造成的放大”。