发生了什么

电池租出去以后,运营要盯着那些长时间没有归还、也联系不上用户的电池,尽量找回来。系统每天定时跑一次风险识别:把当天符合条件的电池挑出来,记为一条“命中”,再交给策略服务执行一轮处置策略。策略由若干节点按顺序组成,其中一个节点负责调用工单服务,生成一张找回工单,派给运营去线下找电池。为了不重复派单,风险识别这边会给每条命中记下“策略状态”和“当前执行到哪个节点”;第二天的定时任务再遇到同一条命中时,先查这个状态,据此判断上一轮策略是不是已经结束。

正常应该这样:一轮策略从发起到收尾,状态依次是还没开始、执行中、已完成,第二天按这个状态判断上一轮是不是真的结束了;还压在上一轮流程里的命中,不会再发起一轮。

这次不一样。运营已经把上一张找回工单维护成“无法找回原因”,意思是这件事已经处理完了,可第二天系统又为同一条命中跑了一轮策略,又生成了一张找回工单。反馈只有这一例,涉及多少块电池、持续多久,记录里没有统计。

本质

一句话:查询流程当前执行节点的接口,在查不到节点时一律返回“运行成功”,把“还没开始”报成了“已经结束”;第二天的判重校验读到的就是这个结论,于是放行,同一条命中又跑了一轮。

  1. 策略服务执行一条策略时,会把“当前执行到哪个节点”写进缓存,键里带流程编号;流程正常结束时主动删掉这个键。这是“已完成”的合法来源。
  2. 创建流程时,服务先把“流程已创建”的事件发出去,再执行策略、写这个键。事件比键先到。
  3. 风险识别这边订阅了这个事件,收到后立刻回查一次流程状态,并把查到的状态写进自己的命中记录。事件到得快、回查发起得早时,那个键还没写进去。
  4. 查询实现只有一个分支:键查不到,就返回运行成功。它没有区分三种情况——流程刚创建、还没开始写节点;流程正常结束、键被删掉;键放得太久过期。第一种被当成了第二种。
  5. 命中记录里的策略状态因此被写成已完成,可这一轮流程其实还没开始走。第二天定时任务再遇到这条命中,查到的就是已完成,判断上一轮已经结束,校验放行,同一条命中又发起了一轮策略执行,工单节点又建了一张找回工单。运营维护过的上一张工单,挡不住这一次。

触发是偶发的:回查能不能抢在写键之前,取决于消息投递、消费速度、网络往返和策略初始化耗时。多数时候键已经写好,只有抢跑成功才会误判,所以不是每条命中都会重复派单。

“还没开始”和“已经结束”返回了同一个状态值,判重依据就失去了区分能力;写错一次终态,后面每天都会照着它放行。

修复方向是:查不到执行节点时不再返回成功,改为按流程自己的记录判断——没有开始时间就是未开始,有结束标记才算已完成,其余按进行中处理;下游判重只看明确的结束标记。记录没有写明这次修复是否已上线、是否验证过。

下面的 Java 代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现。

错误代码

// 策略服务:查询某条流程当前执行到哪个节点(示意)
public int queryFlowStatus(long flowId) {
    String operand = redis.get("flow:operand:" + flowId);
    if (operand == null) {
        // 为什么错:键缺失有三种含义——刚创建还没写、正常结束被删、过期,
        // 这里不加区分就返回“运行成功”,把未开始的流程报成了已完成
        return PROCESS_SUCCESS;
    }
    return parseStatus(operand);
}

// 创建流程:先发事件,再执行并写节点
public void createFlow(Flow flow) {
    eventPublisher.publish(new FlowCreated(flow.getId())); // 事件先到下游
    flow.execute();                                        // 节点这时才写进缓存
}

// 风险识别侧:收到创建事件立即回查,把结果写进命中记录
public void onFlowCreated(FlowCreated event) {
    int status = strategyClient.queryFlowStatus(event.getFlowId());
    hitMapper.updateStrategyStatus(event.getHitId(), status); // 未开始被写成终态
}

修复代码示例

public int queryFlowStatus(long flowId) {
    String operand = redis.get("flow:operand:" + flowId);
    if (operand != null) {
        return parseStatus(operand);
    }
    // 键缺失不再等于成功,改用流程自己的落库记录判断真实阶段
    FlowRecord flow = flowMapper.selectById(flowId);
    if (flow == null || flow.getStartedAt() == null) {
        return PROCESS_INIT;      // 刚创建,还没开始执行
    }
    if (flow.getFinishedAt() != null) {
        return PROCESS_SUCCESS;   // 只有写入结束标记才算已完成
    }
    return PROCESS_RUNNING;       // 键丢了但流程没结束,按进行中处理
}

// 风险识别侧:照实记录状态,未开始与进行中不再被当成终态
public void onFlowCreated(FlowCreated event) {
    int status = strategyClient.queryFlowStatus(event.getFlowId());
    hitMapper.updateStrategyStatus(event.getHitId(), status);
}

queryFlowStatus 返回流程当前处于哪个阶段,FlowRecord 是流程在数据库里的记录,startedAt、finishedAt 分别是流程开始执行和结束的时间;缓存里的 operand 只表示“当前正在执行的节点”,它缺失时不能替代流程本身的记录。

下次遇到这些场景要警惕

  • 用一个字段“查不到”推断业务状态时:先把缺失的所有来源列出来(还没写入、被主动删除、过期失效),逐个确认对应哪个业务状态,再看现在的返回值是不是把它们混成了一个。
  • 状态由事件驱动写入时:把“发事件”和“写状态”的先后画出来,构造一次事件先到、状态后写的场景(例如消息直达、消费端无延迟),观察下游回查拿到的是什么。
  • 判重依赖另一个系统回写的状态时:确认这个状态只有一条写入路径、写入时机在业务真正结束之后;再拿一条“被误写成终态”的数据重放一次定时任务,看会不会重复建单。
  • 只在偶发时出现的问题:别只看单次结果,在写状态之前人为延迟几秒再发事件,连续跑几次,看误判是否稳定复现。