发生了什么

平台上的商户可以登录商户端 APP 查看经营数据,其中“用户管理”页要展示一个数字:当日新增用户数。它的定义是当天产生了订单、并且此前没有任何订单的用户;老用户即便今天又下了单,也不算新增。正常只返回这一个数字,接口很快就返回。

页面背后的商户服务会调用用户服务的统计接口。这个接口多年前上线后没再改过:先查出当天产生订单的用户,再拿这批用户去查他们的全部历史订单并一次性取回,最后在应用内存里逐条比对,没出现在历史订单里的算新用户,累加得到总数。

1 月 8 日傍晚,运营人员用商户端 APP 的用户管理页查这个数字,接口报错,页面拿不到值;同一时段 SRE 与 NOC 收到用户服务报错的告警。事后核对:这次查询的商户账号名下绑定的是平台自营渠道的全部订单归属,属于订单量最大的一档;第二步一次读回约三十万行历史订单,当时有 2 到 3 个并发在执行同一条查询,按记录估计异常时刻可能到约一百万行。确认的影响是告警时段用户服务对外报错、这个页面查不出数字;失败请求数量和受影响商户范围,记录没有给出。

本质

一句话:为了回答“这些人里谁没有历史订单”,接口把当天所有下单用户的历史订单整批搬回内存再逐条比对;返回行数随商户订单量线性增长,而堆内存固定,几十万行临时对象把老年代推到只能整堆回收。

  1. 正常应该怎样。这个统计只需要“当天有订单的用户”以及这些人“有没有更早的订单”。判断有没有只用一个是非答案,正确做法是在数据库里用一次 COUNT 或 EXISTS 算完,只带回一个数字。
  2. 实际怎么做的。第一步只取用户编号,量级可控;问题在第二步:把用户编号拼成一个大 IN 条件,去订单表取回全部历史订单行;第三步在内存里遍历这些行,记录哪些用户出现过。
  3. 数据量为什么大。行数大致等于“当天有订单的用户数 × 人均历史订单数”,两个因子都随经营规模增长。这个账号接的是平台自营渠道的全部订单,日订单千单以上,用户又长期复购,第二步的结果集就到了约三十万行。
  4. 为什么是报错而不是慢一点。结果集不是先转成业务对象,而是驱动逐行返回原始行对象;这些对象数量大、存活时间短,年轻代回收跟不上,很快被晋升到老年代。堆里常驻的订单对象只有约十二万个,真正占内存的是这些还没转成对象的临时行。老年代被填满后,回收只能升级为整堆的 Full GC;Full GC 期间所有业务线程暂停,请求拿不到响应,用户服务开始对外报错。
  5. 处置走到哪一步。先对下游接口做降级,用 mock 返回,让页面不再触发这条重查询,评估影响面后通知产品确认;当晚八点半在调用方增加商户黑名单,日订单量在一千单以上的商户不再进入这个统计,随后停用 mock。产品确认这些商户短期对该功能没有迫切需求,也就是这段时间他们看不到这个数字。长期两项:改造接口(SQL 优化或切换数据源)排在一月下旬的迭代,把接口从用户服务迁出排在二月初的迭代;两项上线后的验证数据,记录没有给出。

几十万行订单明细只是为了回答一个是非问题,却全部进了堆;行数随商户单量涨,老年代被临时对象填满后只能整堆回收。

错误代码

// 统计“当日新增用户数”(脱敏教学示例)
public int countNewUserToday(long merchantId, LocalDate day) {
    List<Long> todayUserIds = orderMapper.selectUserIds(merchantId, day);
    if (todayUserIds.isEmpty()) {
        return 0;
    }
    // 为什么错:为了判断“有没有历史订单”,把当日下单用户的全部历史订单一次查回
    List<Order> historyOrders = orderMapper.selectByUserIds(todayUserIds);
    // 为什么错:几十万行在驱动里先是原始行对象,全部进堆之后才逐行映射
    Set<Long> hasHistory = new HashSet<>();
    for (Order order : historyOrders) {
        hasHistory.add(order.getUserId());
    }
    int count = 0;
    for (Long userId : todayUserIds) {
        // 为什么错:只需要“是否出现过”,却为此付出了整份结果集的内存
        if (!hasHistory.contains(userId)) {
            count++;
        }
    }
    return count;
}

修复代码示例

// 修复:把“有没有历史订单”下推到数据库,只返回一个计数(脱敏教学示例)
public int countNewUserToday(long merchantId, LocalDate day) {
    // 修复:应用侧不再持有订单明细,返回的是一行计数
    return orderMapper.countNewUserByDay(merchantId, day);
}

public interface OrderMapper {
    // 修复:当天有订单、且此前没有任何订单的用户数,交给数据库用 NOT EXISTS 判定
    @Select("SELECT COUNT(DISTINCT o.user_id) FROM t_order o "
          + "WHERE o.merchant_id = #{merchantId} AND o.order_day = #{day} "
          + "AND NOT EXISTS (SELECT 1 FROM t_order h "
          + "  WHERE h.user_id = o.user_id AND h.order_day < #{day})")
    int countNewUserByDay(@Param("merchantId") long merchantId,
                          @Param("day") LocalDate day);
}

两段代码改的是同一处:把“取回明细、在内存里判断”换成“在数据库里判断、只带一个数字回来”。改成 NOT EXISTS 后查询是否快取决于用户编号与订单日期的索引;如果暂时不能改查询形态,至少要给第二步设一个结果集上限并分批处理,让它不会一次占满内存。把接口迁出用户服务是记录里的另一项长期安排,它改变的是故障影响面,不改变这条查询本身的代价。

下次遇到这些场景要警惕

  • 要新增“统计、去重、判断存在性”的接口时:先问结论能不能用一条 COUNT 或 EXISTS 在库里算完;如果确实要取明细,就明确上限和分批方式。用数据量最大的账号跑一次,记录返回行数和堆占用。
  • 给接口做容量评估时:按单账号历史上的最大数据量估算,不要按平均值;再按线上真实并发(这里是 2 到 3 个)同时压,观察 Full GC 次数、老年代占用和接口错误率,而不只是平均响应时间。
  • 发现某个接口多年没改、业务量却涨了一个数量级时:先补返回行数和耗时的监控与阈值告警,再排期改查询形态,不要等它先把服务打挂。
  • 用降级或黑名单止血时:确认被挡住的商户看到的是“没有数据”还是“报错”,把这个结果交给产品确认可以接受,并记录被排除的商户范围和撤销时间。

代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现;接口名、表名与字段名均为示意。