发生了什么
换电柜(下文简称电柜)是投放在点位上的换电设备,用户扫码后从柜子里取电池。平台为每台电柜保存一份配置档案,记录柜号、所属点位、可用格口、当前状态等信息。业务系统和后台页面要查某台电柜的详情时,都按柜号调用电柜详情接口。这个接口读数据的固定方式是:先按柜号查缓存,缓存里没有才去数据库查,查到后再写回缓存。因此缓存命中时,一次详情查询不会碰数据库,也不会碰任何下游服务,接口能承接的查询量由缓存挡住。
这次的需求是让业务方按柜号拿到电柜型号。型号不在详情接口原有的那份配置里,它由下游的电柜数据服务单独提供,要按柜号去查。研发在详情接口的返回里加上了型号字段,取值方式是在组装返回前调用下游的型号查询接口。
上线后,这个详情接口开始持续报错。排查确认:型号没有进缓存,缓存对象还是原来那份配置。于是无论配置是从缓存读到的还是从数据库查到的,每个详情请求在返回前都要调用一次下游。详情接口承接的是线上正常查询流量,这些请求被原样转成对下游型号接口的调用,很快越过了下游的调用频率限制,下游开始拒绝请求,详情查询随之失败。处理过程是:先把下游限流阈值调高,随后紧急改代码不再调用这个型号接口,线上才恢复。
本质
一句话:给一个靠缓存挡住流量的读接口加字段时,新字段没有跟着进缓存,缓存命中也要回源,等于给每个查询都加了一次没有缓存保护的同步下游调用。
- 原流程。详情接口按柜号取配置:先读缓存,未命中才查数据库并回写。这条路径对下游的压力被缓存吸收,调用量与缓存未命中率挂钩,而不是与查询量挂钩。
- 新增字段。型号由下游服务按柜号提供,详情接口在组装返回时调用它。查型号这个动作本身没有问题,问题出在调用位置放在了缓存之外。
- 出错的一步。缓存对象没有扩展,型号不在其中;判断缓存是否命中时也只判断了配置。于是第 1 步不管走的是缓存还是数据库,第 2 步都要无条件再调一次下游。
- 放大过程。详情接口是高频在线读接口,查询量本来就大;每个请求一次下游调用,下游看到的调用量就等于详情查询量。下游的限流阈值按它自身的承受能力配置,并不是按这个接口的查询量配置,很快被打穿。
- 结果。下游返回限流错误,这次详情查询整体失败,调用方日志里持续出现限流异常,对外表现为服务持续报错。
缓存命中并不等于没有回源:只要新字段在缓存外取值,缓存命中率再高,每个请求仍然会向下游发一次调用。
记录给出的处理分三层。临时措施是调高下游限流阈值,这只是争取时间,放大源还在;紧急措施是改代码不再调用这个型号接口,先把线上恢复;长期方案是查到型号后把型号缓存起来。修复方向是让型号和详情走同一份缓存:缓存对象里带上型号,命中直接返回,未命中时查数据库并顺带取一次型号再写入缓存。还要确认型号变更后能清掉对应缓存,否则只是把限流问题换成了页面显示旧型号。记录没有说明长期缓存方案是否已上线验证,也没有给出限流阈值与实际调用量,本文不写具体数字。
下面两段代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现;缓存时长、方法名与返回结构均为示意。
错误代码
// 按柜号查电柜详情(脱敏教学示例)
public CabinetDetail queryByCabinetNo(String cabinetNo) {
CabinetConfig config = cache.get(CACHE_KEY + cabinetNo);
if (config == null) {
config = cabinetMapper.selectByCabinetNo(cabinetNo);
cache.put(CACHE_KEY + cabinetNo, config, TTL);
}
// 为什么错:型号没有放进上面那份缓存对象,
// 即使 config 来自缓存,这里仍然每个请求都调一次下游
CabinetType type = dataClient.findCabinetType(cabinetNo);
// 为什么错:下游限流时这里直接抛异常,整次详情查询一起失败
return CabinetDetail.of(config, type);
}
修复代码示例
// 修复:型号与详情同进同出,只有未命中才取一次(脱敏教学示例)
public CabinetDetail queryByCabinetNo(String cabinetNo) {
CabinetDetail cached = detailCache.get(CACHE_KEY + cabinetNo);
if (cached != null) {
return cached; // 修复:命中缓存直接返回,不再调下游
}
CabinetConfig config = cabinetMapper.selectByCabinetNo(cabinetNo);
if (config == null) {
return null;
}
// 修复:只在缓存未命中、真正回源时取一次型号
CabinetType type = dataClient.findCabinetType(cabinetNo);
CabinetDetail detail = CabinetDetail.of(config, type);
detailCache.put(CACHE_KEY + cabinetNo, detail, TTL); // TTL 为示意值
return detail;
}
两段代码改的是同一处:型号从缓存外挪进缓存里。错误版缓存只保存配置,型号在每次返回前现查;修复版把型号和配置一起放进缓存,命中就整份返回。型号会随硬件更换而变,缓存时长和主动失效要按实际变更频率定,并在型号更新时清掉对应柜号的缓存。
下次遇到这些场景要警惕
- 给已有缓存的接口加返回字段时:先写清这个字段从哪里取值,再确认它是否进了同一份缓存对象;用同一个柜号连续查两次,看下游调用次数是零还是一次,不要只验证字段值对不对。
- 在详情类读接口里加同步下游调用时:用该接口的线上查询量估算下游调用量,核对下游限流阈值是按什么量级配置的;在预发用接近线上的查询量压一次,观察是否出现限流错误。
- 变更评审只看功能是否正确时:把“这次改动给下游增加了多少调用”补成一项评估,逐条检查缓存是否覆盖新字段、循环或批量路径是否会放大调用、下游配额还剩多少余量。
- 临时调高限流阈值止血后:同步确认放大源是否已经去掉;阈值上调只是把问题推后,如果新字段仍在缓存外取值,查询量再涨一次还会重演。