发生了什么

每月初,商户的消费数据汇总完成后,结算系统会为每个商户生成一份结算账单。账单本身只记金额合计,账单里每一笔订单的订单号、商品和金额并不在账单里。为了在对账页面和商户后台展示明细,账单服务需要拿着账单关联的订单号,去订单服务把订单信息查回来,再补进这张账单。

正常流程是:账单服务按账单维度取出订单号,分批调用订单服务的批量查询接口,订单服务按订单号返回订单信息,账单明细补齐,一条账单对应一批明细。

这次的不同出现在月初。凌晨结算账单集中生成,账单服务把一张账单关联的全部订单号一次性装进一个请求发了出去。单次请求最多带了约七千个订单号,请求体约 200KB。订单服务既没有拒绝,也没有在内部切批,而是把这批订单号直接下推成一条超大的 IN 查询。

单次调用从正常的数十毫秒涨到最长约 14 分钟。查询在数据库里长时间占着连接,大量请求同时这样调用,订单库的连接池被占满。连接池满之后,排队的不只是账单查询:同一服务里其他调用方的在线请求也在等连接,请求线程越堆越多,容器 CPU 被拖满,接口开始持续报错。故障时间窗内这套查询一共覆盖了约 48 万笔订单。

本质

问题不在某一条 SQL 写错,而在两侧都没有给批量规模设边界。

  1. 调用方(账单服务)把账单关联的全部订单号一次性透传,没有按固定条数切批。账单越大,单次请求越大,没有上限。
  2. 被调方(订单服务)的查询接口直接用入参列表拼 IN 查询。请求参数没有最大条数约束,服务实现也没有条数校验、没有内部分批、没有超量快速拒绝,来多少查多少。
  3. 一条大 IN 查询的执行时间随订单号数量增长,执行期间一直占用数据库连接。并发请求叠加后,连接池里的连接被长期占住,其他请求只能排队。
  4. 连接池是同一服务共享的资源。账单批处理把连接占满后,与该业务无关的在线请求也拿不到连接,表现为整个服务的接口报错,而不是只有批量查询变慢。

还有一层原因:账单对账这类批处理查询,和面向用户的在线低延迟查询共用同一个同步接口,中间没有隔离。月初批量峰值与在线流量叠加时,批处理可以吃掉在线请求的资源。

批量查询接口不设条数上限,等于把调用方的数据规模直接变成数据库的连接占用。

修复方向是两侧都收口:调用方按批切分后逐批调用并限流;被调方在入参处校验条数,超过上限直接拒绝,或在服务内部切批、转异步。临时应急是对该接口加限流,避免并发继续耗尽数据库资源。修复上线状态待确认。

错误代码

// 调用方:账单服务
public void syncBillDetail(String billNo) {
    // 为什么错:一张账单关联的全部订单号一次性取出,没有按固定条数切批
    List<String> orderNos = orderMapper.listOrderNosByBill(billNo);
    QueryOrderRequest req = new QueryOrderRequest();
    req.setOrderNoList(orderNos);              // 单次最多约七千个,请求体约 200KB
    QueryOrderResponse resp = packageOrderService.queryMerchantRevenueOrderList(req);
    detailService.saveAll(billNo, resp.getOrders());
}

// 被调方:订单批量查询接口
public QueryOrderResponse queryMerchantRevenueOrderList(QueryOrderRequest req) {
    // 为什么错:不校验入参条数,来多少查多少
    List<String> orderNos = req.getOrderNoList();
    // 为什么错:全量拼成一条大 IN,执行期间一直占用数据库连接
    List<Order> orders = orderMapper.selectByOrderNoList(orderNos);
    return QueryOrderResponse.of(orders);
}

修复代码示例

private static final int BATCH_SIZE = 200;      // 示意值,按库表能力压测后确定
private static final int MAX_BATCH_SIZE = 500;  // 示意值,写进接口约定

// 调用方:切成固定大小,逐批调用
public void syncBillDetail(String billNo) {
    List<String> orderNos = orderMapper.listOrderNosByBill(billNo);
    for (int from = 0; from < orderNos.size(); from += BATCH_SIZE) {
        int to = Math.min(orderNos.size(), from + BATCH_SIZE);
        QueryOrderRequest req = new QueryOrderRequest();
        req.setOrderNoList(orderNos.subList(from, to)); // 单批不超过 BATCH_SIZE
        QueryOrderResponse resp = packageOrderService.queryMerchantRevenueOrderList(req);
        detailService.saveAll(billNo, resp.getOrders());
    }
}

// 被调方:入参超限快速失败,不把压力下推到数据库
public QueryOrderResponse queryMerchantRevenueOrderList(QueryOrderRequest req) {
    List<String> orderNos = req.getOrderNoList();
    if (orderNos == null || orderNos.isEmpty()) {
        throw new BizException("订单号列表为空");
    }
    if (orderNos.size() > MAX_BATCH_SIZE) {
        throw new BizException("单次查询订单数超过上限"); // 拒绝而不是硬查
    }
    return QueryOrderResponse.of(orderMapper.selectByOrderNoList(orderNos));
}

两段示例用的是同一组对象:账单号、订单号列表、批量查询接口。错误版把整张账单的订单号一次传出、被调方一次查完;修复版在调用方切批、在被调方拦截超量请求。代码只保留与机制相关的部分,分片大小和上限都是示意值,实际阈值应由压测和接口约定确定。

下次遇到这些场景要警惕

  • 新增或修改按列表查询的接口:在入参处写明单次最大条数并在代码里拦截,用超过上限的列表实测,确认请求被拒绝,而不是继续被查下去。
  • 调用方准备批量调用下游:检查每次请求的条数是否有上限,构造一张最大的账单跑一遍,观察单次耗时、请求体大小和数据库连接占用。
  • 批处理任务与在线查询共用接口:确认两者是否共享连接池和线程池,在批量峰值时压测在线接口的耗时,判断是否需要独立通路或限流。
  • 月初、日终这类集中生成数据的时点:核对批量任务的单次规模与并发数,确认连接池上限能覆盖峰值,而不是只看平均调用量。