发生了什么

平台上的商户要在线下点位(网点)放置设备,先和平台就这个网点签一份合约。合约签完并不立即生效,而是进入「待履行」状态:签约完成后,系统会自动触发一段合同变更处理,用新合约替换这个网点原来的历史合约,再把履约相关的动作做完。网点列表上设备有没有绑定、网点能不能正常运营,都以履约完成的结果为准。

正常流程是:商户签完合约,合同变更处理生成一条变更记录(每条记录有一个系统生成的全局唯一编号 guid,作为这条记录的主键),替换掉历史合约,履约完成,网点列表显示状态正常、设备已绑定。

这一次不一样。一个网点的合约签完之后一直停在「待履行」,历史合约没有被替换,反馈里要求人工处理一下,把历史合约换掉。网点列表上能看到两条网点记录,状态都是「运营中」,却都提示「摄像头未绑定」。

影响范围按近一个月的报错日志去重后是 6 个同类问题,涉及 6 个商户,都是签约之后合同没有正常履行。这类问题不是必现的:要并发到一定量级才会大概率触发,单实例环境里几乎遇不到。记录给出的处置是先统一修复受影响的业务数据,再对所有商户服务扫描一遍,把同类写法找出来;编号生成方式本身计划后续替换成平台统一提供的 ID 生成组件。

本质

这条链路的隐含前提是编号唯一:两条合同变更记录如果拿到同一个 guid,第二条插入就会撞主键。

这里的 guid 来自项目自己实现的一份雪花算法。雪花算法的思路是把一个 64 位整数拆成几段:高位是毫秒时间戳,中间是机器位(workerId 和 datacenterId),低位是同一毫秒内的自增序号。它成立的前提只有一个——每个进程必须拿到互不相同的机器位。只要两个进程的机器位相同,它们在同一毫秒内各自从起点递增序号,算出来的整数就会完全一样。

问题出在机器位怎么来:

  1. 这个生成器是用 new 直接创建出来的静态变量,不是交给容器管理的单例。每个副本启动时各自算一遍自己的机器位,没有一个地方统一分配或登记,谁也不知道别人算出了什么。
  2. 机器位的取值方式是 MAC 地址加进程号的哈希再取模。容器化部署下,多个副本可能拿到相同的 MAC 地址,进程号在容器里也常常是同一个值,两个副本因此算出相同的 workerId 和 datacenterId。
  3. 两个副本都认为自己是同一台机器。同一毫秒内,它们各自把序号往上加,生成完全相同的 guid。
  4. 签约后的合同变更处理要插入一条以 guid 为主键的记录。先插入的那条成功,撞上的那条直接抛主键冲突,这段处理整体中断;处理中没有重试或补偿,替换历史合约的后续步骤没有执行,合同停在「待履行」,网点侧依赖履约结果的绑定也就没有落地。

两个副本算出同一个机器位,等于两个进程共用一套编号空间;同一毫秒内的自增序号又从同一起点走,必然撞出同一个编号。

为什么难发现:撞号要两个副本在同一毫秒内都生成编号,概率低;报错只是一条主键冲突,看起来像偶发的脏数据,不像编号生成的问题,单实例环境永远复现不了。

修复方向是三条:把编号生成统一换成平台提供的 ID 组件,机器位由组件统一分配,不再让每个进程自己算;已经受影响的业务数据统一修复,把停在待履行的合同补做;对所有服务扫描一遍自实现编号的写法,避免只修一处。该技改的上线状态待确认。

错误代码

public final class SnowflakeGenerator {
    // 为什么错:静态变量由每个副本各自 new 出来,机器位没有统一分配
    private static final SnowflakeGenerator INSTANCE = new SnowflakeGenerator();
    private final long workerId;
    private final long datacenterId;
    private long lastTimestamp = -1L;
    private long sequence = 0L;

    private SnowflakeGenerator() {
        long mac = MacUtils.macHash();
        long pid = ProcessUtils.currentPid();
        // 为什么错:容器里 MAC 和进程号都可能重复,取模后两个副本落到同一个机器位
        this.workerId = (mac + pid) % 32;
        this.datacenterId = (mac / 32) % 32;
    }

    public synchronized long nextId() {
        long now = System.currentTimeMillis();
        if (now == lastTimestamp) {
            sequence = (sequence + 1) & 4095L;  // 机器位相同的两个副本,这里都从 0 往上加
        } else {
            sequence = 0L;
            lastTimestamp = now;
        }
        return ((now - EPOCH) << 22) | (datacenterId << 17) | (workerId << 12) | sequence;
    }
}
public void onChange(ContractSignedEvent event) {
    ContractChange change = new ContractChange();
    change.setGuid(SnowflakeGenerator.INSTANCE.nextId());  // 可能与另一个副本刚生成的编号相同
    change.setSiteId(event.getSiteId());
    change.setNewContractId(event.getContractId());
    contractChangeMapper.insert(change);              // 主键冲突在这里抛出,后面的步骤都不再执行
    contractService.replaceHistoryContract(change);   // 替换历史合约被跳过
}

修复代码示例

编号生成这一段改成由统一组件分配机器位;掉在待履行的存量合同需要另做一次性数据修复,不在这段示例里。

@Configuration
public class IdConfig {
    // 机器位由一处统一分配:启动时登记,拿不到唯一机器位就让启动失败
    @Bean
    public IdGenerator idGenerator(IdRegistry registry, PodMeta pod) {
        long workerId = registry.acquire("contract-change", pod.getName());
        return new IdGenerator(registry.datacenterId(), workerId);
    }
}

@Service
public class ContractChangeHandler {
    private final IdGenerator idGenerator;

    public ContractChangeHandler(IdGenerator idGenerator) {
        this.idGenerator = idGenerator;   // 注入统一组件,不再各自 new
    }

    public void onChange(ContractSignedEvent event) {
        ContractChange change = new ContractChange();
        change.setGuid(idGenerator.nextId());   // 机器位全局唯一,毫秒内的序号不会撞
        change.setSiteId(event.getSiteId());
        change.setNewContractId(event.getContractId());
        contractChangeMapper.insert(change);
        contractService.replaceHistoryContract(change);
    }
}

下次遇到这些场景要警惕

  1. 自己实现或拷贝一份编号生成器时,先问机器位从哪来。凡是用 MAC、IP、主机名、进程号拼起来取模的,就在多副本环境里起两个实例,把各自的 workerId 和 datacenterId 打出来对比,相同就是随时会撞号。
  2. 压测按多实例、高并发来做:让所有副本同时大量生成编号,把结果灌进带唯一约束的表或者做集合去重,检查有没有重复。单实例压测永远发现不了这类问题。
  3. 以唯一编号作主键的写入报冲突时,不要当偶发脏数据重试了事:按编号分组看这些冲突记录来自哪个实例,确认是不是编号生成本身重复;这类失败还要有告警或补偿,否则表现就是业务单据停在中间状态,没人发现。
  4. 换编号生成方式时,先把所有调用点扫一遍再改,别只改报错的那一处;已经写进库的存量业务数据要单独盘点并修复。

代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现。