发生了什么

运营后台里有一个“网点管理”页面,展示每个线下服务网点的基本信息和状态。用户打开页面时,前端调用一个查询接口,后端按条件查出网点列表再返回;另有一个定时任务会周期性读取同一批网点数据,用来做后续处理。这两个入口背后是同一段查询逻辑。

为了让新的查询逻辑先只对一部分人开放,开发在实验平台上配了一条灰度实验。代码在真正查询之前,先向实验平台要一个“分组”:拿到约定的分组,就走新逻辑;没拿到,按设计应该走原来的老逻辑。正常状态下,实验在有效期内,取分组成功,命中的人走新路径,没命中的人走老路径,两条路径都能返回结果。

这次的问题出在时间上。实验的终止时间配在跨年那天的零点,平台按配置的时刻判定实验结束,而不是按“当天结束”来理解。零点一过,实验失效,代码再去取分组时已经取不到原来的分组了。于是跨年当天,后台用户打开网点管理页面,接口直接报错;那个复用同一段判定的定时任务,也读不到任何数据。

处置上,先把实验续期,接口和任务随之恢复;对于已经全量放开的灰度,则把判定逻辑摘掉,不再依赖实验。实验平台侧也调整了终止时间的计算方式,把边界落到当天的最后一刻。跨年之前,监控平台已经推送过到期提醒,也有人在群里和线下转达,但没有形成“到期前必须续期或摘除”的处理闭环。

本质

一句话:代码把“实验还在、能取到分组”当成了必然前提;实验按配置在跨年零点失效后,取不到分组这件事没有兜底,判定这一步直接抛错,两个共用它的入口一起失败。

  1. 原先:实验有效期内,查询入口先取分组,命中走新查询逻辑,未命中也还有老逻辑,两条路径都能正常返回网点数据。
  2. 跨年零点:实验到期。平台按配置时刻把实验判为已结束,之后取分组不再返回原来的分组结果。
  3. 代码没有区分“这次是取分组失败”和“这个人没命中”,也没有把“取不到”当成一种需要处理的结果,而是直接拿分组对象继续往下判断。
  4. 分组拿不到时,判断这一步没有可用结果,异常从这里抛出,一路抛到接口层;接口层把异常返回给前端,页面提示接口报错。
  5. 定时任务调用的是同一个判定方法,同样在取分组这一步失败,所以表现为“任务看不到数据”。

真正出问题的不是查询逻辑本身,而是灰度这一层没有“取不到就回落”的路径。灰度的存在本意是降低风险,结果它自己成了单点。实验续期之前,页面和任务两个入口都不可用,而用户看到的是“接口报错”,不是一个能理解的“功能未开放”。

提醒转达了几轮也没能阻止故障,说明“通知已发出”不等于“风险已关闭”。到期是确定会发生的,靠人记不住,只能靠处理人和关闭条件。

修复方向有两层:代码里给取分组加兜底,取不到就明确走已经稳定的老逻辑并记日志;运营上对已经全量放开的灰度直接移除判定,不再保留一个到期就会失效的开关。平台侧把终止时间改到当天末刻,只是让边界符合预期,替代不了兜底。

错误代码

// 网点查询入口:先问实验平台要分组,再决定走新逻辑还是老逻辑(脱敏教学示例)
public List<BranchVO> listBranches(BranchQuery query) {
    // 为什么错:默认实验一定在有效期内,没考虑到期后取不到分组
    GrayGroup group = grayClient.getGroup("branch-new-query");

    // 为什么错:group 可能为空,直接取它的名字会抛异常;
    // 这里没有捕获,异常一路抛到接口层,页面打开即报错
    if ("new".equals(group.getName())) {
        return newBranchQueryService.list(query);
    }
    return legacyBranchQueryService.list(query);
}

修复代码示例

// 修复:取分组失败或为空时,明确回落到老逻辑,不让灰度层变成单点(脱敏教学示例)
public List<BranchVO> listBranches(BranchQuery query) {
    GrayGroup group = null;
    try {
        group = grayClient.getGroup("branch-new-query");
    } catch (Exception e) {
        // 修复:实验平台不可用也要能查询,记日志后按未命中处理
        log.warn("gray group unavailable, fallback to legacy, key={}", "branch-new-query", e);
    }

    // 修复:先判断分组是否存在,再判断是否命中,两步都不跳过
    if (group == null || !"new".equals(group.getName())) {
        return legacyBranchQueryService.list(query);
    }
    return newBranchQueryService.list(query);
}

这段示例只解决“取不到分组”的兜底,不处理“已经全量放开”的情况。新逻辑全量之后,应当把判定和依赖它的实验一起删除:留着一个只在生效期内才走新逻辑的开关,等于给线上留了一个到期就会失效的入口。

下次遇到这些场景要警惕

  • 给功能配置灰度实验的终止时间:先确认平台按什么粒度判定过期、用哪个时区,再在到期前后各发一次请求,看取分组的返回值和失败形态。不要把配置里的日期当成“当天整天有效”。
  • 写任何取开关、分组、配置的代码:主动构造“取不到”的条件(空返回、超时、平台报错),检查业务是否还能走稳定路径;如果失败只打日志、后面的分支却继续执行,等于没有兜底。
  • 两个入口共用同一段判定(页面接口和定时任务、在线请求和离线任务):改判定逻辑时把两个入口都跑一遍,只测页面会漏掉任务侧。
  • 依赖时间的配置与到期告警:告警要指定处理人和关闭条件;对确定会到期的对象,在到期前把它转成“已续期”或“已摘除”其中之一,而不是停在“已通知”。