发生了什么

每辆车都有一份基础资产信息:车架号、车型、所属网点、当前状态等。用户扫码用车或关锁时,业务程序要先拿到这辆车的资产信息,才能判断这辆车能不能租、停在哪里。这份数据原来存在一张老表里,项目要把车辆资产迁到新表,迁移期间两张表并存,读哪一张由灰度开关控制:先只让一小部分流量读新表,确认新表结果和老表一致,再逐步放开比例,最后全量读新表。

正常流程是:业务程序发起查询,资产查询服务按开关决定读新表还是老表,返回一份资产列表(至少一条),调用方把列表并进自己的结果集,继续后面的开锁、关锁动作。

这次上线时,查询里加了一套分流判断,把“要不要做新老数据对比”和“要不要按比例走新表”写成了两个开关。但两个开关都不打开时,判断没有接住这种组合,方法直接返回了空值。上线后配置里对比埋点还没有打开,百分比灰度也没有配,命中这段查询的请求全部拿到空值。调用方按“查不到就是空列表”的预设,把返回值直接交给列表的批量追加方法,抛出了空指针异常。凡是走到这条查询路径的扫码用车和关锁,都会在这一步中断。

去重后约有 39 名用户受到影响,其中 5 名用户的操作失败。扫码用车有 2 名用户报错后没有重试、最终失败;关锁有多名用户先报错,重试后成功。在把灰度配置推向全量的过程中,错误日志量激增,触发了服务告警,问题才被暴露出来。

本质

问题不在对比功能本身,而在“读哪张表”这个判断没有覆盖所有开关组合。

  1. 原流程里,读老表是默认路径:迁移没完成之前,任何请求都应该能读到一张表的结果,新表只是逐步接量。
  2. 这次把判断改成了两层:对比埋点打开,就同时查新表和老表并记录差异,返回新表结果;对比埋点关闭时,再看百分比灰度,按比例把请求分到新表或老表。
  3. 缺的正是最后一条:对比埋点关、百分比灰度也关时,没有任何分支命中,方法顺着执行到末尾,返回空值。而“两个开关都不开”并不是非法状态,它只表示还没开始对比、也还没开始分流,迁移期间本来就存在。
  4. 调用方又默认查询一定返回列表,没有判断空值,直接把结果交给批量追加方法,空值就变成了空指针异常,业务动作随之中断。

还有一层:是否读老表,本来只应该由灰度比例决定;对比埋点是给迁移验证用的旁路,它关掉不该影响主查询。把旁路开关当成主流程的前置条件,等于让“这次不做对比”变成了“这次不查询”。

两个开关都关时没有分支接住,查询返回空值,把“当前不对比、也不分流”这个合法配置变成了调用方的空指针。

修复方向是把“要不要查”和“要不要对比”拆开:查询永远先给出一份确定结果(默认读老表),对比埋点只决定是否额外查新表做比对,灰度比例只决定是否改读新表;任何配置组合都要落到一条查询路径上。同时补一层配置兜底:读取配置时发现缺失、拼错或越界的值,回落到查老表,打日志并发出告警,而不是让判断悄悄走到空分支。

错误代码

// 资产查询服务:按开关决定读新表还是老表
public List<AssetBasic> queryAssetBasic(AssetQueryParam param) {
    boolean compareOn = config.getBoolean("asset.compare.enabled");
    int grayPercent = config.getInt("asset.gray.percent", 0);

    if (compareOn) {
        // 对比埋点:新老各查一次,记下差异,结果仍用新表
        List<AssetBasic> newList = newAssetMapper.select(param);
        oldAssetMapper.select(param);
        return newList;
    }
    if (grayPercent > 0) {
        // 按百分比把请求分到新表或老表
        return hitGray(param, grayPercent)
                ? newAssetMapper.select(param)
                : oldAssetMapper.select(param);
    }
    // 为什么错:两个开关都关时没有任何分支命中,返回空值而不是默认查老表
    return null;
}

// 业务调用方:默认查询一定返回列表,没有判断空值
List<AssetBasic> assets = assetQueryService.queryAssetBasic(param);
List<AssetBasic> all = new ArrayList<>();
all.addAll(assets);   // 为什么错:assets 为 null,这里抛 NullPointerException

修复代码示例

// 修复:把“要不要查”和“要不要对比”拆开,先给出确定结果
public List<AssetBasic> queryAssetBasic(AssetQueryParam param) {
    boolean compareOn = config.getBoolean("asset.compare.enabled");
    int grayPercent = config.getInt("asset.gray.percent", -1);

    if (grayPercent < 0 || grayPercent > 100) {
        // 配置缺失或无法识别:回落到查老表,并留下可定位的日志与告警
        log.error("asset gray config invalid, percent={}", grayPercent);
        alarmClient.send("asset_gray_config_invalid", grayPercent);
        grayPercent = 0;
    }

    List<AssetBasic> oldList = oldAssetMapper.select(param); // 默认路径永远有结果
    if (!hitGray(param, grayPercent)) {
        return oldList;                                      // 未命中灰度:明确返回老表结果
    }
    List<AssetBasic> newList = newAssetMapper.select(param);
    if (compareOn) {
        compareLogger.log(param, newList, oldList);           // 埋点只决定是否比对
    }
    return newList;
}

// 调用方同时做空值防御:查询结果可能为空,用空列表兜底
List<AssetBasic> assets = assetQueryService.queryAssetBasic(param);
all.addAll(assets == null ? Collections.emptyList() : assets);

下次遇到这些场景要警惕

  • 给查询加灰度开关:把开关的所有组合列成表——对比开/关、比例 0/中间值/100——逐组调用接口,确认每一组都返回一条确定结果,没有任何一组拿到空值。
  • 灰度判断里出现“要不要额外做某件事”的旁路开关:检查它有没有被写成主查询的前置条件;构造“旁路关闭”的配置跑一遍,确认主查询照样执行。
  • 调用方接收查询结果:在接口层约定查不到返回空列表而不是空值,调用方也不要直接批量追加;用开关全关的配置走一遍扫码用车和关锁,观察是否报错。
  • 读取配置的代码:把缺失、拼错、越界的值都当作异常配置,验证会回落到默认值并发出告警,而不是静默走到空分支。

代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现;开关名、方法名与类名均为示意。