发生了什么

这套系统里,设备节点是这条链路上的处理对象,一次任务要处理一批节点,处理过程中要用到商户侧的信息。商户信息由商户中心统一维护,别的服务不各自存一份,需要时向它查询。商户中心为此提供批量查询接口:把一批商户的标识一次传进去,一次拿回这批商户的信息。接口按“批”设计,本来就是为了让一次调用覆盖多条记录,少走几趟网络。

按接口本来的用法,处理开始时先把这次涉及的商户标识收齐,调一次批量查询,拿回结果后在本地逐条取用。这样一次任务的远程调用次数与处理多少条数据无关,一批只走一趟网络。

这次的差别在调用方式:取商户信息的代码放在循环里,循环每走一圈就调一次批量查询接口,循环次数由一次任务要处理的条数决定。于是“一次任务调一次”变成了“有多少条就调多少次”。同一时段进来的任务各自都在循环里发请求,落在商户中心的时间窗口高度重叠。

实际结果就是商户中心的批量查询超时:请求发出去后等不到响应,调用方拿到超时错误,取商户信息这一步没有走完,节点服务这条处理链中断,错误日志在短时间内集中出现,触发了服务调用告警。超时的具体时长、超时请求数、同一时段有多少任务在执行,这次都没有给出;受影响的范围也没有给出,所以只能确认“批量查询超时导致处理失败并告警”,无法判断是否波及具体用户。

处置上只有一条:补充限流,降低瞬时请求量。

本质

一句话:把批量查询放进循环,等于拿“要处理的条数”去乘下游请求数;瞬时请求量一旦超过商户中心批量接口的处理能力,正常查询也会因为排不上队被判超时。

  1. 原流程做到哪一步。批量查询接口的设计是“一次进来一批标识、一次返回一批结果”,调用方在任务开始时收齐商户标识,调一次就覆盖全部,随后在本地遍历结果。这条路径上,下游承受的请求数等于任务数,跟每个任务处理多少条数据无关。
  2. 这次多出来什么。取商户信息这一步被放进了遍历的循环体:每处理一条就发起一次远程调用。查询的内容没变,变的是调用次数——从“每个任务一次”变成“每条一次”。
  3. 为什么这样就超时。远程调用要等网络往返和下游处理,串行执行会让单个任务变慢;更要紧的是并发叠加:同一时段进入的任务各自都在循环里发请求,瞬时到达商户中心的请求数被放大到“并发任务数 × 单任务条数”的量级。批量接口按请求排队处理,进来的比处理得快,队列里的请求等不到处理窗口,调用方先到超时时间,于是报超时。
  4. 得到什么结果。超时的调用在调用方抛错,这次处理没有走完;错误日志集中出现并触发告警。限流是事后加在发请求之前的闸门,把瞬时速率压回下游能承受的范围,这一层属于止血:循环调用本身是否已经改回一次批量取回,限流阈值怎么定,超时期间失败的任务怎么补偿,这次都没有说明。

一次任务里的循环调用不会自己限速,它把数据条数直接翻译成下游请求数;量一变,下游就从“处理得慢”变成“全部超时”。

修复方向分两层。已经给出的处置是补充限流:发请求之前先拿许可,把瞬时速率压到商户中心能承受的水平;限流要作用在发请求之前,而不是在超时之后重试或把异常吞掉,否则压力只是被推到下一轮。更彻底的一层是让循环体内不再有远程调用:先把这一批数据涉及的商户标识去重收齐,按批一次取回,循环里只读本地结果。后一层是否已经实施没有说明,下面的修复示例把两层放在一起写。

错误代码

// 取商户信息:循环体内逐条发起远程查询(脱敏教学示例)
public void handleBatch(List<Node> items) {
    for (Node item : items) {
        // 为什么错:循环每走一圈就发一次远程调用,
        // 一次任务的请求数等于条数,并发时下游瞬时请求量成倍放大
        MerchantInfo info = merchantClient.batchQuery(
                Collections.singletonList(item.getMerchantId()));
        // 串行等待每次返回,任务总耗时随条数增长,调用频率也不受约束
        item.fillMerchant(info);
    }
}

修复代码示例

// 修复:发请求前限流 + 一次批量取回(脱敏教学示例)
public void handleBatch(List<Node> items) {
    Set<Long> merchantIds = items.stream()
            .map(Node::getMerchantId).collect(Collectors.toSet());
    int batchSize = 200; // 示意批量大小,按下游单批承受能力定,不是线上取值
    Map<Long, MerchantInfo> infoMap = new HashMap<>();
    for (List<Long> ids : partition(merchantIds, batchSize)) {
        // 修复:限流卡在发请求之前,压的是进入下游的瞬时速率
        limiter.acquire(ids.size());
        for (MerchantInfo info : merchantClient.batchQuery(ids)) {
            infoMap.put(info.getMerchantId(), info);
        }
    }
    // 循环内只读本地结果,不再产生远程调用
    for (Node item : items) {
        item.fillMerchant(infoMap.get(item.getMerchantId()));
    }
}

下次遇到这些场景要警惕

  • 在循环体内写远程调用时:先把循环次数乘上同一时段的并发任务数,算出下游会看到的瞬时请求量,再和对方单接口的承载能力对照;超过就改成先收齐标识、一次批量取回。
  • 做“把一次调用改成逐条调用、把整批改成循环、把串行改成并发”这类改造时:改造说明里要写清改造后一次任务的调用次数,并与改造前对照;这项缺失时,功能测试全绿也证明不了调用量没问题。
  • 给下游加限流时:确认闸门卡在发请求之前、限的是进入下游的速率;如果做法是超时后重试或捕获异常继续跑,等于把压力推给下一轮,超时会变成持续超时。
  • 上线后观察批量接口时:同时盯下游的排队时长和超时率,不只盯自己的错误率;下游先排队、先超时,上游才报错,只看自己的日志会晚一步。