发生了什么
应用首页是用户进入各条业务线的入口,首页活动位上挂什么,用户就点进什么。电池业务这条线上有几个支撑应用,分别负责用户、业务配置、结算,以及一个商城入口;商品相关的数据,它们要调用平台侧的商品服务去取。
正常情况下,用户打开首页或商品列表页,页面按模块调各自的接口;商品的价格、库存、展示信息由商品服务提供,商户维度的数据(某个商家上架了什么、按什么价格卖)由商户服务提供。平时的量级是:单接口每秒请求数(QPS)在十几这个水平,各服务的实例数、限流额度都按这个量级准备。限流额度决定每秒能放进来多少请求,超过额度的请求在入口就被拒掉,不会继续往下压。
这次的不同是零点上线了一场限时秒杀活动,入口就挂在首页。活动开始那一刻用户集中涌入,单接口 QPS 从十几涨到一百五十多,约 13 倍;瞬时请求量最高到平时的几十倍(61 倍)。限流额度和实例容量都是按日常准备的,于是两件事同时发生:商品列表页和商户服务的额度被占满,超出的请求在入口被拒绝;通过额度的请求继续压到商品服务,把它的 CPU 占用打满,响应时间拉长到超时,电池业务里负责用户、配置、结算、商城的四个应用也跟着报错。
故障从零点持续到零点十七分左右,受影响的是超出限流额度的那部分用户访问,具体人数记录里没有写。处置顺序是:先给商品服务扩容,再调高商户服务的限流阈值,然后把刚上线的首页活动临时下线;评估之后活动重新恢复,并给商品列表页配了日常 5 倍的额度。
本质
一句话:活动把流量放大十几倍,而限流额度和实例容量还停在日常水平,超出的请求被拒绝、通过的那部分把商品服务压到 CPU 满并超时,故障再从商品服务扩散到依赖它的电池业务应用。
- 零点活动上线,首页入口把用户集中引到商品浏览这条路径上,单接口 QPS 从十几涨到一百五十多。
- 商品列表页和商户服务的限流额度是“日常量级”的一个数,活动上线时没有人按峰值改它。额度一满,新的请求取不到额度,在入口直接被拒。
- 限流挡掉一部分之后,剩下的请求仍然全部落到商品服务。商品服务的实例数按平时准备,请求量涨十几倍后 CPU 被占满,处理时间拉长,超过调用方的等待时间就变成超时。
- 电池业务的用户、配置、结算、商城四个应用都在这条调用链上,商品服务一超时,它们跟着报错,于是一个接口的过载变成多个应用同时报错。
- 这套链路上没有给活动单独留额度,也没有在过载时快速降级:超限只能被拒,过载只能等超时,处置手段只剩扩容和临时下线活动。
限流额度和实例容量都按日常峰值准备,活动流量一放大,超出部分被拒、通过部分把商品服务压到超时,故障从商品服务扩散到所有依赖它的应用。
事后做的是扩容、调高阈值、临时下线活动,属于止血;给列表页配 5 倍额度也只是把可承载的峰值抬高,超过 5 倍的部分依然会被拒。修复方向是活动前按预估峰值重算活动入口相关接口的额度与实例数,让额度可配置、能随活动调整,给活动流量单独计数,过载时快速失败而不是排队到超时。记录只写到扩容、调阈值、临时下线这些处置,长期方案是否落地待确认。下面是脱敏教学示例,用来解释限流额度与容量的关系,不代表实际项目源码或已上线实现。
错误代码
// 商品列表页接口:进业务前先过限流(脱敏教学示例,非事故源码)
@GetMapping("/mall/items")
public Result<List<ItemVO>> listItems(ItemQuery query) {
// 为什么错:额度是“日常量级”的一个固定值,活动上线前没有人改它,
// 流量放大十几倍后,超出的请求在这里被直接拒绝
if (!rateLimiter.tryAcquire("item-list", DAILY_LIMIT)) {
throw new BizException("访问失败,请稍后再试");
}
// 为什么错:通过额度的请求没有为活动预留容量,也没有降级出口,
// 它们继续压到商品服务,把 CPU 打满并拖到响应超时
return itemService.query(query);
}
修复代码示例
// 修复方向:额度可配置、按活动调大,活动流量单独计数(脱敏教学示例)
@GetMapping("/mall/items")
public Result<List<ItemVO>> listItems(ItemQuery query) {
// 修复:额度从配置中心读取,活动前和活动中可调整,
// 不必为了改一个常量重新发版
int limit = configClient.getInt("item.list.limit", DEFAULT_LIMIT);
// 修复:活动流量与日常流量分开计数,活动峰值不再挤占日常额度
String key = query.getActivityId() == null
? "item-list:normal" : "item-list:activity";
if (!rateLimiter.tryAcquire(key, limit)) {
// 修复:超限快速失败并返回可重试提示,不让请求继续排队到超时
throw new BizException("当前访问人数较多,请稍后再试");
}
// 修复:额度抬高后要同步扩容商品服务,否则只是把超时点往后推
return itemService.query(query);
}
下次遇到这些场景要警惕
- 上线秒杀、限时抢购类活动前:先按预估峰值算出活动入口涉及的每个接口的 QPS,再逐项核对限流额度、实例数和被调服务的容量;不要直接沿用日常峰值。
- 调高限流额度之前:先看被保护的服务还剩多少余量,先扩容再放量;只调额度不扩容,报错会从“被限流”变成“超时”,问题只是换了个位置。
- 活动流量和日常流量共用接口时:给活动单独计数或单独额度,并在活动前用接近峰值的全链路压测确认商品服务不会被压到 CPU 满。
- 过载处置预案:提前写明扩容、调额度和临时下线活动的先后顺序与判断依据,活动下线后要有恢复与复核步骤。