发生了什么

设备故障、电池和电柜调拨这类现场作业,都通过工单派给一线处理。工单按“网格”归属:辖区在地理上被划成若干网格,每个网格对应一批运维人员。一线打开工单列表,先选自己负责的网格,列表就只列这个网格的工单;在列表里选一张单,再指定处理人转派出去,一张工单就换人办理。正常流程是:选网格,列表只含本网格的工单,选中一张,再转派给处理人。

这次工单平台对列表查询做了一次版本迁移:列表原来由老服务提供,迁移后改由新服务的新接口提供。为了控制风险,新接口没有一次性接管全部流量,而是按比例灰度,一部分查询请求走新接口,其余仍走老接口,同一个页面刷新几次,落到哪套实现并不固定。

灰度期间一线反馈,列表的网格筛选“错乱”:选了网格,列表里仍会出现不属于这个网格的工单,筛选等于没有起作用。按列表挑单转派时,挑到的往往不是本网格的工单,转派就没法按原流程完成。后端核对后的结论是:新接口的网格查询本身有问题,请求里带着网格条件,查询却没有把结果收窄到该网格,页面上就表现为没有网格筛选效果。

影响没能精确统计。记录说明当时的埋点表只保留三天数据,日志又要同时满足“入参含网格条件”“命中灰度”“数据与老接口不一致”三个条件才能定位,所以只能抽样估算:日志里约有六千条不一致数据,其中还混着排序错位、新老平台数据短暂不一致等其他原因,剔除后估算真正由网格条件失效造成的在数十条以内,按用户去重是个位数。这是估算,不是统计结果。

本质

一句话:迁移后的新接口收到了网格条件,却没有把它用进查询,同一份请求在两套实现里查出了范围不同的工单。

  1. 正常流程。列表接口的入参里带着网格条件,查询把它拼进条件,只返回该网格的工单;页面按这个范围渲染列表,一线在里面挑单转派。

  2. 迁移后,新接口照着老接口的入参重新实现了一份查询。入参照样接收网格条件,但构造查询时网格没有进入查询条件。条件没进查询,查询范围就从“某个网格”退化成“全部网格”。

  3. 结果是新接口把跨网格的工单返回给页面,列表照实渲染,页面上看不出任何筛选效果。一线看到的列表与所选网格对不上,转派时挑中的单也就不属于这个网格。

  4. 灰度让缺陷只出现在一部分请求上:命中新接口的查询返回跨网格结果,没命中的仍走老接口、结果正常,所以同一个网格多刷几次,看到的结果可能不一样。这也让日志里的痕迹分散,影响面只能估算。

  5. 记录没有细分新接口具体在哪一步丢了网格条件,是入参没有传到查询、用在一个不存在的字段上,还是查了另一张没有网格归属的表。正文按“条件没有落到查询”这一层讲述,下面两段代码也只演示这一层。

处置分两步:先把灰度关掉,让这部分流量全部回到老接口,把错误结果止住;随后修复新接口的查询,把网格条件落到查询里重新上线。上线后的验证情况,记录没有说明。

代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现。

错误代码

// 老接口:网格条件直接落在查询里(脱敏教学示例)
// select id, ... from work_order
//  where grid_code = ? and status = ? order by create_time desc
List<WorkOrder> listByGrid(String gridCode, String status);

// 新接口:入参照抄老接口,查询换了一套写法重新组
public Page<WorkOrder> listPending(String gridCode, String status, int page, int size) {
    Query query = new Query();
    query.eq("status", status);
    query.orderByDesc("createTime");
    // 为什么错:gridCode 已经收到,却没有进查询,
    // 取数范围从“本网格”变成“全部网格”,页面上就没有网格筛选效果
    return workOrderDao.page(query, page, size);
}

修复代码示例

// 修复:网格条件必须落进查询(脱敏教学示例)
public Page<WorkOrder> listPending(String gridCode, String status, int page, int size) {
    if (gridCode == null || gridCode.trim().isEmpty()) {
        // 网格是这条查询的必需条件,缺了就报错,不退化成查全部
        throw new IllegalArgumentException("缺少网格条件");
    }
    Query query = new Query();
    query.eq("status", status);
    query.eq("gridCode", gridCode);
    query.orderByDesc("createTime");
    // 与老接口保持同一范围:只返回本网格的工单
    return workOrderDao.page(query, page, size);
}

下次遇到这些场景要警惕

  • 把列表或详情查询从一套实现迁到另一套时:先把老接口入参里的每个筛选条件列出来,在新实现里逐个找到它落进查询的位置;选一个数据量小的取值,用同一入参在新旧实现各查一次,比对返回的编号集合,而不是只看页面能打开、能查出数据。
  • 灰度按比例切流期间验证查询类改动时:构造一条只属于某个网格、且其他条件都一样的数据,把切流放到能稳定命中新实现的量,对同一条件反复查询,观察返回范围是否随命中与否跳动;跳动说明两套实现在同一入参下行为不同。
  • 确认筛选条件真的生效时:用范围外的数据验证,选中网格 A,确认网格 B 的工单不会出现;条件为空或非法时应该明确报错,而不是静默退化成查全部,后者在页面上只会表现为“结果变多了”。
  • 准备用日志或埋点统计这类缺陷的影响面时:先确认日志里能同时拿到入参条件和返回结果,否则结论只能是估算;把估算方法、剔除的干扰原因和不确定区间一起写出来,不要当成精确数量对外说。