发生了什么
换电柜(下称电柜)在运行中会按固定间隔向平台上报一次心跳,告诉平台自己还在线。平台收到心跳后,除了记录在线状态,还要取这台电柜当前的故障标签——也就是“哪个部件异常、这台柜子还能不能继续对外服务”的标记。故障标签是电柜档案的一部分,记录这台柜子当前的故障情况。
正常流程是:电柜上报心跳,心跳处理程序解析出电柜编号,调用故障标签查询接口取出标签,带着标签继续完成这次心跳处理。故障标签查询从缓存取数;缓存在这里的作用是承接高频读取,避免每次心跳都落到存储层。
这次是在一次全链路压测的逐级加压阶段。压测把电柜心跳流量提高到平时的 2 倍,心跳处理程序仍然在处理心跳时调用故障标签查询,查询也仍然从缓存里取数。心跳量翻倍后,这条查询带来的缓存读跟着上量,而这些读集中在一个共享缓存集群上,集群使用率峰值到了 80%。记录没有写这次压测已经造成线上接口报错或数据错误,能确认的是容量余量已经很小;这个集群同时承载电池归属相关的数据,水位继续上升会先挤占这部分数据的读取。
本质
问题不在某一次查询写错,而在于高频心跳直接依赖一个与其他业务共用的缓存,容量没有单独留出来。
- 电柜心跳是周期性、高频的事件。压测把心跳流量提到 2 倍,心跳处理程序的调用量也到 2 倍。
- 心跳处理程序在处理心跳时调用故障标签查询,查询实现依赖缓存。心跳越多,这条查询被调用的次数越多,落到缓存上的读也越多。
- 故障标签查询使用的缓存不是它专用的,这个集群同时还承载电池归属相关的数据,平时由多类读取共用。
- 心跳涨到 2 倍后,额外增加的缓存读把共享集群推到 80%。80% 本身还不是故障,但继续加压的余量已经很薄;和其他业务高峰叠在一起,同一集群上的读取会先受影响。
- 故障标签的读取频率跟着心跳走,容量责任却一直挂在共享集群上。把这条查询迁到负责故障数据的独立服务域,等于把查询入口、缓存和扩容一起搬走,让心跳高峰不再消耗共享集群的余量。
高频心跳每翻一倍,共享缓存上的读就跟着翻一倍;容量不分家,业务量上来时先见底的是大家共用的那一块。
修复方向是:把电柜心跳查询故障标签的整条链路迁到负责故障数据的独立服务域,由该域承接查询、缓存和扩容,心跳侧改调新入口,不再占用原来的共享集群。迁移是否完成、迁移后同样的 2 倍流量下旧集群水位降到多少,记录里没有写,修复上线状态待确认。
代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现。
错误代码
// 电柜心跳处理(示意):处理心跳时查一次故障标签
public class CabinetHeartbeatHandler {
private final FaultTagQueryService faultTagQueryService;
private final CabinetStatusRepository cabinetStatusRepository;
public void onHeartbeat(CabinetHeartbeat heartbeat) {
// 为什么错:心跳是高频入口,这里在心跳处理中直接走共享缓存查询;
// 压测把心跳量翻倍,落在这个集群上的读也跟着翻倍
FaultTag tag = faultTagQueryService.query(heartbeat.getCabinetId());
cabinetStatusRepository.updateFaultTag(heartbeat.getCabinetId(), tag);
}
}
// 故障标签查询(示意):读的是基础业务共用的缓存集群
public class FaultTagQueryService {
private final RedisClient sharedRedis;
public FaultTag query(String cabinetId) {
// 为什么错:这个共享集群同时还承载电池归属数据,
// 心跳高峰的读会直接抬高整个集群的水位
String value = sharedRedis.get("fault:tag:" + cabinetId);
return FaultTag.parse(value);
}
}
修复代码示例
// 心跳侧改调故障数据所属服务提供的查询入口
public class CabinetHeartbeatHandler {
private final FaultDomainClient faultDomainClient;
private final CabinetStatusRepository cabinetStatusRepository;
public void onHeartbeat(CabinetHeartbeat heartbeat) {
// 查询链路迁到独立域后,心跳高峰不再打到原来的共享集群
FaultTag tag = faultDomainClient.queryFaultTag(heartbeat.getCabinetId());
cabinetStatusRepository.updateFaultTag(heartbeat.getCabinetId(), tag);
}
}
// 独立域内:查询与缓存由本域承接,容量单独评估和扩容
public class FaultTagQueryService {
private final FaultTagCache faultTagCache;
private final FaultTagRepository faultTagRepository;
private final Duration faultTagTtl; // 由该域按标签变更频率配置
public FaultTag queryFaultTag(String cabinetId) {
FaultTag cached = faultTagCache.get(cabinetId);
if (cached != null) {
return cached;
}
FaultTag tag = faultTagRepository.selectByCabinetId(cabinetId);
faultTagCache.put(cabinetId, tag, faultTagTtl);
return tag;
}
}
下次遇到这些场景要警惕
- 给高频心跳、设备上报类链路加查询时:先按峰值流量算读次数(心跳量 × 每次心跳的查询次数),再和缓存集群的容量对比;2 倍压测流量下,读次数会同比放大。
- 故障标签、开关状态这类会被高频读取的数据:检查它是否和别的业务共用一个缓存;做一次只对该业务加压的摸高,观察共享集群水位先被谁推高、其他业务还剩多少余量。
- 准备把查询迁到另一个服务域时:迁移前确认新域的缓存容量、扩容方式和标签更新时效;迁移后用同样的 2 倍流量复测,既看旧集群水位是否降下来,也看新集群有没有出现新的瓶颈。
- 压测水位接近上限时:不要只看一个百分比就结束,把同一集群上各业务的峰值读写分别列出来,再决定是扩容量、拆集群,还是把高频查询从主链路上挪走。