发生了什么
换电业务里,用户把没电的电池放到换电站、换一块满电的走;领电则是用户把电池取走使用。这两类动作每发生一次,业务系统都会记一条事件。这些事件被一个实时计算任务持续读取,任务按时间窗口汇总,算出换电次数、领电数量这类指标,写进指标看板,值班和运营靠它判断业务是否正常。
正常时,事件进来后很快就会算完并输出,看板的数值和实际业务量基本同步。这次看板上的换电、领电指标突然下跌,第一眼像是业务量掉了。排查后定位到实时计算任务的输出存在延时:任务没能在该出结果的时候把窗口算完,看板拿到的仍是滞后的一段数值。
再看这个任务的资源:它向运行平台申请的 CPU 是 5.5 核,而作业实际运行时用了 9.41 核,申请量明显低于实际用量。处理方式是把任务配置改成申请 15.5 核,仍按 9.41 核的实际用量衡量,任务回到留有余量的水位。
本质
问题出在“申请多少 CPU”这个静态配置没有跟着作业的真实负载走,任务拿到的计算能力不足以处理持续进来的事件。
- 实时任务提交时,运行平台按配置里的 CPU 申请量给它分配计算能力。申请 5.5 核,任务能稳定使用的就是 5.5 核这个量级。
- 任务要处理的事件量、要维护的窗口状态,实际需要 9.41 核才跑得动。申请量和真实需求之间差了一截。
- CPU 不够,算子处理单条事件的速度就慢下来,事件在任务内部排队,处理进度落在输入后面。
- 窗口结果要等数据处理到对应位置才发出。处理进度落后,输出自然晚;看板按“最新输出”展示,于是显示出一个偏低、滞后的值。
整个过程中数据没有算错,也没有丢失,只是算得不够快。资源申请量长期低于实际用量,任务就会持续追不上输入,对外表现成指标延时和下跌。 记录里的处理是把申请量提到 15.5 核:按 9.41 核的实际用量算,余量约四成,负载短时上涨时还有 CPU 可用,也不至于长期闲置。这是本次的处置;有没有同时降低单条事件的计算成本、调整并行度,记录没有提到,这里不做推断。
下面两段 Java 代码是按上述机制写的教学示例,用来对比“申请量写死”和“按实测用量定申请量”,不代表实际项目源码或已上线实现。
错误代码
// 实时指标任务的提交逻辑(教学示意)
public class MetricJobSubmitter {
// 为什么错:申请量是一个固定常量,不随作业的实际负载变化,
// 输入量和并行度上来以后,这个值没有跟着复核
private static final double CPU_REQUEST = 5.5;
public void submit(JobSpec spec) {
spec.setCpuRequest(CPU_REQUEST);
// 为什么错:只写申请量就提交,没有拿最近的实际用量做一次对照;
// 申请 5.5 核、作业要跑 9.41 核,在提交这一步完全看不出来
cluster.submit(spec);
log.info("submitted {}, cpuRequest={}", spec.getName(), spec.getCpuRequest());
}
public void onRunning(JobSpec spec, JobMetrics metrics) {
// 为什么错:运行中只看任务状态,不看输入是否积压、输出是否延时
if (metrics.getState() != RUNNING) {
alert.warn("job not running: " + spec.getName());
}
}
}
修复代码示例
// 同一套提交逻辑:申请量改为按实测峰值估算,并盯住饱和与延时
public class MetricJobSubmitter {
private static final double HEADROOM = 1.6;
private final UsageHistory usageHistory; // 作业历史实际用量
private final SaturationAlert monitor; // 资源水位与输出延时监控
public void submit(JobSpec spec) {
// 取最近一段时间的峰值实际用量,而不是沿用上线时的估算值
double peak = usageHistory.peakCpuCores(spec.getName(), Duration.ofDays(7));
// 按 9.41 核的峰值乘 1.6 约为 15 核,与这次调整后的量级一致(示意,不是线上配置)
double request = Math.max(spec.getMinCpuRequest(), peak * HEADROOM);
spec.setCpuRequest(request);
cluster.submit(spec);
// 除了申请量,还要在运行中盯住实际用量是否贴近或超过申请量
monitor.watchCpuSaturation(spec.getName(), request);
// 业务侧看板要能看见输出延时,而不是等指标下跌了才发现
monitor.watchOutputDelay(spec.getName(), spec.getMaxOutputDelay());
}
}
下次遇到这些场景要警惕
- 给实时任务定资源时:不要只按上线时的流量估算,用最近一段时间(含业务高峰)的实测峰值反推申请量并留余量;提交后比对实际用量与申请量,长期贴近上限就说明余量不足。
- 看板指标突然下跌时:先区分是业务量真的下降,还是任务输出延时;对比事件入口量、任务积压量和结果输出时间,三者对不上就查任务处理速度。
- 任务并行度、输入分区数或业务活动时间改变后:重新核算 CPU 和内存申请量;只调过并行度但没有调资源,等于把同样的计算能力分给更多算子。
- 通过调大申请量临时恢复后:继续观察一段时间的实际用量和输出延时,确认余量不是被增长慢慢吃掉的;这次调大只解决当前水位,不能替代长期容量评估。