发生了什么

租赁业务里,用户按周期租用车辆或设备,可以切换租用的周期。用户在客户端切换周期后,页面需要重新展示附近门店:自己周围有哪些门店、这些门店当前提供哪些商品。平台上可供出租的套餐按商品管理,每个商品有一个编号(SPU);某家门店能不能提供某个商品,由一条“商品-门店”关系记录说明。用户切换租赁周期后,客户端会重新查一次附近门店,接口要回答“附近这些门店里,哪些还有这些商品”。

正常处理时,一次请求里的商品数量有限,用户在页面上能看到的就那么几个,一次请求的查询量是可预期的。

这次的情况不一样。网关日志显示,同一个用户在半分钟里连续发出了多次附近门店查询。一开始怀疑是前端循环调用,核对埋点后确认前端没有循环,是用户自己反复点了租赁周期切换,每切一次客户端就发一次查询,属于正常操作。流量来源没有问题,放大发生在服务端:查“商品所属门店”的历史代码是循环调用,请求里有几个商品就逐个查几次;而每次查询都没有把这次已经拿到的附近门店列表放进条件里,等于把该商品对应的门店关系全量取出来,再靠分页一页页往后翻。一个请求要串行跑完多条越来越慢的查询,几次请求叠在一起,附近门店查询接口在短时间内连续报错。

记录还点明,聚合服务和门店查询服务都没有做限流,请求可以直接打进来。

本质

一句话:一次查询按商品逐个反查门店,每次反查又不带门店范围、只能全量分页往后翻,查询次数和单次扫描量同时随数据增长,几个正常的重复操作就把接口压到报错。

  1. 原流程。接口按商品列表逐个反查门店,再和附近门店列表对上,返回门店与商品的对应关系。
  2. 出错的一步。按商品查门店的那条查询只用了商品编号做条件,没有用这次请求已经拿到的附近门店列表收窄范围。范围没收窄,取回的就是该商品在全部门店上的关系记录,接口只能用分页把结果一页页取完。
  3. 慢在哪里。翻到后面的页时,数据库要先跳过前面大量记录才能取到当前页,翻得越深越慢;商品和门店的关系总量越大,单条查询越慢。
  4. 放大。请求里有几个商品就循环几次,单条查询又慢,一次请求的耗时近似“商品数乘以单条慢查询”。用户连续切换几次租赁周期,客户端每次都发一次同样的查询,几个重请求同时进到服务。
  5. 再叠加。这两个服务都没有限流,没有任何一层把并发压下来,慢查询直接堆到数据库和线程上。
  6. 结果。接口短时间承接的查询量远超平时,附近门店查询连续报错,切换动作拿不到结果。

循环查询的代价不是“多调几次接口”,而是调用次数乘以单条查询的扫描量,两个因子都随业务数据一起长。

修复做了两件事,正好对应上面两个放大点:把按商品循环查询改成一次批量查询,请求里有多少商品都在同一次查询里带过去;按商品查门店时把附近门店列表作为筛选条件,先收窄范围再取数据,单次查询的数据量降下来,也就不需要深分页。记录说明修复已在一个客户端入口上线;聚合服务和门店查询服务是否补了限流,记录没有说明,本文不把它写成已完成。

下面两段代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现;方法名、表名、字段名与分页大小均为示意。

错误代码

// 附近门店查询:按商品循环反查门店(脱敏教学示例)
public List<StoreGoods> queryNearStores(List<Long> spuIds, List<Long> nearStoreIds) {
    List<StoreGoods> result = new ArrayList<>();
    for (Long spuId : spuIds) {
        int offset = 0;
        while (true) {
            // 为什么错:一个商品一段循环,请求里商品越多,查询次数越多
            // 为什么错:只按商品编号查,nearStoreIds 没有进条件,
            // 只能靠分页把该商品的全部门店关系翻完
            List<StoreGoods> page = storeGoodsMapper.selectBySpuId(spuId, offset, PAGE_SIZE);
            if (page.isEmpty()) {
                break;
            }
            result.addAll(page);
            offset += PAGE_SIZE; // 翻得越深,数据库要跳过的记录越多
        }
    }
    return result;
}
// 为什么错:where 里只有商品编号,附近门店范围没有参与过滤,
// 扫描量随“商品与门店”关系总量增长(脱敏教学示例)
// 调用方只能从 offset=0 开始一页页往后翻,页数取决于关系总量
// 翻到第 n 页时,数据库要先扫描并丢弃前 n 页的记录
@Select("select store_id, spu_id from store_goods "
      + "where spu_id = #{spuId} "
      + "limit #{offset}, #{size}")
List<StoreGoods> selectBySpuId(@Param("spuId") Long spuId,
                               @Param("offset") int offset,
                               @Param("size") int size);

修复代码示例

// 修复:一次批量查询,并用附近门店收窄范围(脱敏教学示例)
public List<StoreGoods> queryNearStores(List<Long> spuIds, List<Long> nearStoreIds) {
    if (spuIds.isEmpty() || nearStoreIds.isEmpty()) {
        return Collections.emptyList();
    }
    // 修复:不再按商品循环,也不再分页往后翻;
    // 商品和附近门店范围进同一条查询,一次取回需要的关系
    List<StoreGoods> rows = storeGoodsMapper.selectBySpuIdsAndStoreIds(spuIds, nearStoreIds);
    Map<Long, List<Long>> storesBySpu = rows.stream().collect(
        Collectors.groupingBy(StoreGoods::getSpuId,
            Collectors.mapping(StoreGoods::getStoreId, Collectors.toList())));
    return spuIds.stream()
        .filter(storesBySpu::containsKey)
        .map(spuId -> new StoreGoods(spuId, storesBySpu.get(spuId)))
        .collect(Collectors.toList());
}
// 修复:商品与门店两个条件一起进 where,范围由请求决定,
// 不再依赖深分页(脱敏教学示例;列表过长时按批次拆分调用)
private static final String SQL_BY_SPUS_AND_STORES =
    "select store_id, spu_id from store_goods "
  + "where spu_id in (:spuIds) "
  + "and store_id in (:storeIds)";

// 持久层把两个命名列表展开成 in 条件,一次取回需要的关系,
// 不再按 offset 往后翻页
List<StoreGoods> selectBySpuIdsAndStoreIds(@Param("spuIds") List<Long> spuIds,
                                          @Param("storeIds") List<Long> nearStoreIds);

两段代码改的是同一处:查询次数不再随商品数线性增长,单次查询的范围也不再是全量。附近门店列表很长时,in 条件要按实际情况分批,批次大小用真实数据量压测后确定。

下次遇到这些场景要警惕

  • 一次请求里要按列表逐项查关联数据时:先数清一次请求会发几条 SQL,再确认这个条数会不会随请求内容增长。用一条商品数接近上限的真实请求跑一次,看 SQL 条数和总耗时,不要只验证单条 SQL 快不快。
  • 按某个维度反查列表时:检查 where 里有没有把请求已经拿到的范围(这里是附近门店列表)带进去。把数据量放大、分页往后翻之后压一次,观察扫描行数和耗时是否随关系总量增长,而不是只看返回条数对不对。
  • 怀疑前端循环调用时:先用埋点区分“用户主动重复操作”和“代码循环、自动重试”。这次同一用户短时间内多次请求,最后确认是正常点击,放大在服务端,别把问题推给前端就收尾。
  • 给读接口做容量评估时:把限流是否缺位一起算进去。一个正常用户在半分钟内就能触发多次的请求,要确认这条路径有没有并发上限,而不是假设“单个用户打不满”。

代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现。