发生了什么

电费账单是结算电费用的单据:系统按结算周期,把这段时间采集到的电量数据汇总起来,算出这一期应结的电费。电量由采集程序持续收集,采集完整时,账单程序到期就能拿到整段数据正常出单。

采集也会漏。此前一个线上问题修复完成后,有一段区间的电量没有被收集到,这段账单缺少计费依据,需要做历史数据处理:先把漏掉的电量数据补进来,再把这批账单重新生成一遍。补数据由人手工触发,按需要补的范围跑一个批次完成。

这一次的批次一次带上的数据量很大。程序在批次里逐条处理,每条都要向商户中心发起一次接口调用;记录没有说明这个接口的名称和返回内容。调用集中发出后,商户中心的接口等不到处理,调用方先到超时时间,接口调用报超时,服务在同一时段出现瞬时抖动报错。记录只写到这一步:没有说明具体是哪个接口、超时判定多长、涉及多少张账单,也没有说明这批补数据最后是否跑完、账单有没有重复生成或遗漏,本文不对此推断。

记录给出的处置有两项:给这批调用增加 QPS 限制,并降低每次调用携带的批量数据大小;同时说明出错的接口本身幂等,超时后可以重试。修复是否已上线、重试是否验证过,记录没有说明。

本质

一句话:一次性补历史数据,等于把整段区间的调用量压进一个很短的时间窗;接口每秒能承受多少调用,不会因为这次是补数据而变高,批次越大,超时来得越早。

  1. 正常流程。日常账单按周期增量生成,每次只涉及当期的一批数据,调用商户中心接口的速率平稳,落在接口的承载范围内,偶尔的慢请求也能在超时前返回。
  2. 这次的不同。历史数据补跑一次覆盖此前漏采的整段区间,条数远多于日常增量;又由人手工触发,没有按日常节奏拆开,批次里有多少条,就背着多少条要处理。
  3. 错在哪一步。批次内逐条调用商户中心接口,发请求的速率跟着处理速率走,没有任何上限;补数据脚本不像线上接口那样有并发控制,一次就把整批请求压了过去。单个请求本身没有问题,问题是同一时刻到达的请求数超过了接口的处理能力。
  4. 为什么结果是超时。接口按自己的处理能力排队,进得比出得快,队列里的请求等不到处理窗口,调用方先到超时时间,于是报超时;同一时段的服务指标随之抖动,出现集中报错。
  5. 处置的边界。限 QPS 和降批量是把瞬时速率压回接口能承受的范围,属于止血;接口幂等让超时后的重试不会重复生成账单,但重试要只覆盖失败的那部分,否则整批重跑会把同一波压力再打一遍。这些改动有没有上线、补跑的账单是否已经全部处理完,记录都没有说明。

手工补数据最容易忽略的一点:批次大小就是瞬时压力,接口的承载上限不会因为这次是补历史数据而变高。

错误代码

// 补历史电量并生成账单(脱敏教学示例,接口方法名为示意)
public void backfill(LocalDate start, LocalDate end) {
    // 为什么错:一次把整段区间要重算的账单全部取出,
    // 条数远大于日常增量,后面所有调用都压在同一时刻
    List<Bill> bills = billRepository.findByPeriod(start, end);
    for (Bill bill : bills) {
        // 为什么错:循环里逐条同步调用商户中心,发请求的速率
        // 等于处理速率,没有 QPS 上限,也没有分批
        MerchantSnapshot snapshot = merchantCenterClient.query(bill.getMerchantNo());
        // 为什么错:单条超时没有重试与补偿,只能人工整批再跑;
        // 接口虽幂等,整批重跑仍会把同样的峰值再压一次
        bill.fill(snapshot);
        billRepository.save(bill);
    }
}

修复代码示例

// 修复:按接口配额分批 + 发请求前限流 + 只重试失败批次(脱敏教学示例)
public void backfill(LocalDate start, LocalDate end) {
    List<Bill> bills = billRepository.findByPeriod(start, end);
    int batchSize = 50; // 示意值:按接口每秒配额和可接受的完成时长反推
    for (List<Bill> batch : partition(bills, batchSize)) {
        // 修复:限流卡在发请求之前,约束进入商户中心的瞬时速率
        limiter.acquire(batch.size());
        List<Bill> done = new ArrayList<>();
        List<Bill> failed = new ArrayList<>();
        for (Bill bill : batch) {
            try {
                // 接口幂等,超时重试不会重复生成账单
                bill.fill(merchantCenterClient.query(bill.getMerchantNo()));
                done.add(bill);
            } catch (TimeoutException e) {
                failed.add(bill); // 修复:只记失败项,不重跑整批
            }
        }
        billRepository.saveAll(done);
        retryLater(failed); // 修复:失败批次单独重试,不再次全量压过去
    }
}

下次遇到这些场景要警惕

  • 要手工补跑一段历史数据时:先按“条数 ÷ 期望完成时长”估出每秒调用量,和接口的 QPS 上限对照,再定每批条数和批间停顿;只按“任务能跑完”评估,等于把压力全留给接口。
  • 给补数据脚本加控制时:限流要卡在发请求之前,按被调接口的配额分片;靠超时后整批重跑“再试一次”,下一轮还是同样的峰值。
  • 准备依赖重试兜底时:先确认被调接口幂等,即同一请求重复发送不会多生成账单、不会多扣费,再让重试只覆盖失败清单,并记录失败原因和条数。
  • 正式跑之前:用接近真实规模的批次试跑一次,观察被调接口的错误率和响应时间,而不只是看任务有没有执行完。