发生了什么

系统里有一类低价商品:用户下单并支付成功后,后台要为这笔订单登记一份“商品权益”,也就是“这个用户买到了哪个商品、商品信息长什么样”的记录,后续核销和使用都以它为准。登记时,权益记录里除了订单号、用户,还要存一份商品信息序列化出来的 JSON 快照。

正常情况是用户一笔一笔下单,支付成功的回调也一笔一笔来,权益登记服务按条处理,每处理一条才序列化一份商品信息。量小的时候,这点开销看不出来。

这次运维人员在后台替用户批量下单,一次性创建了六千多份一元商品订单,随后用户陆续扫码支付,支付成功的回调在较短时间内密集到达,权益登记服务要连续写入几千条权益。问题就出在这段写入逻辑上:商品信息的序列化被写在循环体内,每写一条权益,就把商品信息重新序列化一次。序列化的结果本来可以复用,却每条权益都重新算了一遍。

单次序列化产生的字符串和中间对象并不大,但它们只活过一轮循环就被丢弃。数量小的时候,年轻代回收能轻松吸收;数量放大几千倍之后,回收频率陡增,回收线程占用了大量 CPU,实例的 CPU 水位被拉高,实例被从可用列表里摘了出去、不再接流量。服务因此出现短暂报错,直到自动拉起的新实例接替、请求量回落,才恢复正常。

本质

这次不是业务判断写错,而是一段每轮结果都相同的准备工作,被放进了按条执行的循环里。

  1. 批量下单让同一时间窗里的支付回调从零散几条变成六千多条,权益登记从按条处理变成连续批量处理。
  2. 权益登记服务对每条回调执行同一段逻辑:组装权益、序列化商品信息、写入数据库。
  3. 序列化写在循环体内。第一条权益算一次,第二条再算一次……同一条商品信息有几个权益要用到,就被重新算几次,每次结果完全一样。
  4. 每次序列化都要新建字符串和若干中间对象,这些对象活不过这一轮循环。它们占用年轻代,回收时还要扫描、复制存活对象。
  5. 回收从偶尔一次变成连续触发,CPU 被回收线程占住,接口处理变慢并开始报错;实例被判为不可用后摘除流量,新建实例接替,压力消失,服务恢复。

真正的问题不是序列化本身慢,而是把每轮结果都相同的计算放进了循环体。

修复方向是把序列化移出循环:同一份商品信息只序列化一次,循环内复用结果。这个改法是否已经上线、修复后是否验证过,目前没有结论,因此这里只说明改动位置,不声称问题已在线上修好。

下面两段是脱敏教学示例,用于说明错误与修复思路,不代表实际项目源码或已上线实现。

错误代码

// 支付成功后,为这一批订单逐条登记商品权益
public void createBenefits(List<PaidOrder> orders) {
    for (PaidOrder order : orders) {
        Benefit benefit = new Benefit();
        benefit.setOrderNo(order.getOrderNo());
        benefit.setUserId(order.getUserId());
        // 为什么错:序列化写在循环体内,每登记一条权益都把商品信息重新序列化一次。
        // 同一份商品信息有几千条权益就重复算几千次,产生大量只活一轮的字符串和中间对象
        String productJson = JsonUtils.toJson(order.getProduct());
        benefit.setProductSnapshot(productJson);
        benefitMapper.insert(benefit);
    }
}

修复代码示例

// 同一商品只序列化一次,循环内复用结果;商品不同也不会重复算
public void createBenefits(List<PaidOrder> orders) {
    Map<Long, String> productJsonCache = new HashMap<>();
    for (PaidOrder order : orders) {
        Benefit benefit = new Benefit();
        benefit.setOrderNo(order.getOrderNo());
        benefit.setUserId(order.getUserId());
        Long productId = order.getProduct().getId();
        String productJson = productJsonCache.get(productId);
        if (productJson == null) {
            productJson = JsonUtils.toJson(order.getProduct());
            productJsonCache.put(productId, productJson);
        }
        benefit.setProductSnapshot(productJson);
        benefitMapper.insert(benefit);
    }
}

这些商品信息本可以每种只算一次,却每条权益都重新算了一遍;把结果缓存下来以后,循环里只剩组装和写入,序列化的开销不再随条数增长。

下次遇到这些场景要警惕

  • 给批量任务或批量接口写循环时:先把循环体里可以一次算好的东西列出来(序列化、日期格式化、配置查询、正则编译),用一个几千条数据的批次跑一遍,观察年轻代回收次数和接口耗时是否随条数成倍增长。
  • 准备一次性创建或补几千份订单、权益之前:先估算支付回调会在多短的时间窗里集中到达,按同样的并发量压测一次,并盯住实例 CPU 和实例摘除记录;只看平均耗时很容易漏掉这种短时间尖峰。
  • 看到“服务短暂报错又自己恢复”时:先查同一时间窗的实例摘除与新建记录、垃圾回收日志,再判断是外部依赖抖动还是自身资源被打满,避免把资源问题当成偶发网络问题放过去。
  • 改完这段循环后:用相同的输入对比修复前后同一批次的回收次数、CPU 峰值和接口错误数,确认是数量级上的变化,而不是只看接口返回成功。