发生了什么

平台上管理着一批电池,每块电池有唯一编号。设备把电池的运行数据持续上报到云端,云端一边保存这些数据,一边把一份可检索的副本写进搜索索引。后台的电池详情页按编号搜索时,查的是搜索索引,而不是上报数据本身;设备接入侧按编号查,查的是上报上来的原始数据。索引在这里只是方便检索的副本,业务上真正的事实是上报数据。

正常流程是:一块电池第一次上报,同步程序在索引里新建一条文档;之后每次上报,更新这条文档里变化的字段。缓存里存着这块电池最近一次上报的数据,并带一个同步标识,标明这条数据在索引里该按新增处理还是按更新处理:首次上报算新增,之后都算更新。新增和更新都成功时,后台能搜到的内容和上报数据一致。

这一次,后台按编号搜一块电池,页面没有任何结果;换到设备接入侧按同一个编号查,数据是完整的。排查发现,这块电池第一次上报时,索引新增那一步没有执行;此后每次上报都按更新处理,而索引里并没有这条文档,更新一直失败,后台于是始终搜不到它。

本质

一句话:新增到底写没写进索引,和下一次上报走新增还是更新没有关系;第一次没写成功,后面就只剩永远失败的更新。

  1. 上报程序收到电池数据,先写缓存,再按缓存里原来有没有这块电池来设置同步标识:没有就标成新增,已经有就标成更新。这个判断只反映上报次数,不反映索引里是否真的存在这条文档。
  2. 这块电池第一次上报时,新增动作没有执行。记录没有说明具体原因,同步任务没跑到、调用报错没被记录,留下的结果是一样的:缓存里的标识已经不再是新增。
  3. 从第二次上报开始,标识是更新。同步程序只按标识决定调用哪个接口,于是每次都发更新请求,从不回查索引里到底有没有这条文档。
  4. 更新是作用在已有文档上的写入。索引里没有这条文档,更新找不到目标,直接失败。
  5. 失败没有被检查,没有重试,没有把标识退回新增,也没有告警。下一次上报继续走更新,继续失败。索引里这条电池的文档从头到尾没有被创建,后台也就一直搜不到它。
  6. 后台详情页按设计查索引,所以现象是搜不到;设备接入侧查上报数据,能正常查到。两边是两套存储,又没有比对机制,这条不一致就会一直存在,只有按索引查询时才会暴露。

记录中的处理是扫描全量数据、修复已经不一致的数据,并增加数据不一致的监控告警,计划在后续迭代完成,修复上线状态待确认。修复方向是:新增和更新不再由上报次数决定,改成以索引里的实际状态为准,或者直接改用 upsert,文档不存在就建、存在就覆盖;写入成功后再推进标识,失败进入重试并留下告警。

下面的代码是脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现。

错误代码

// 设备上报入口:写缓存并触发索引同步(脱敏教学示例)
public void onBatteryReport(BatteryReport report) {
    String key = cacheKey(report.getBatterySn());
    boolean cached = cacheService.exists(key);

    BatteryCache data = BatteryCache.from(report);
    // 为什么错:同步标识按“缓存里有没有这块电池”来定,
    // 只代表这是第几次上报,不代表索引里真的写入成功过
    data.setEsSyncFlag(cached ? SyncFlag.UPDATE : SyncFlag.INSERT);
    cacheService.put(key, data);

    // 为什么错:异步同步,首次的 INSERT 没执行或执行失败,
    // 上报侧无从知道,下一次上报仍然把标识写成 UPDATE
    syncExecutor.submit(() -> syncToIndex(data));
}

void syncToIndex(BatteryCache data) {
    // 为什么错:只看标识,不回查索引里有没有这条文档;
    // 文档不存在时 update 找不到目标,直接失败
    if (data.getEsSyncFlag() == SyncFlag.INSERT) {
        indexClient.create(data.getBatterySn(), data.toDoc());
    } else {
        indexClient.update(data.getBatterySn(), data.toDoc());
    }
}

修复代码示例

// 同一入口,改为以索引实际状态为准(脱敏教学示例)
public void onBatteryReport(BatteryReport report) {
    String sn = report.getBatterySn();
    BatteryCache data = BatteryCache.from(report);

    try {
        // 修复:不再按上报次数选分支,直接用 upsert,
        // 文档不存在就建、存在就覆盖,第一次漏掉的下次上报会补上
        indexClient.upsert(sn, data.toDoc());
        // 修复:写入成功后才推进标识,标识只用于观察
        data.setEsSyncFlag(SyncFlag.SYNCED);
    } catch (IndexWriteException e) {
        // 修复:失败保留待同步状态,进入重试并告警,
        // 不让下一条上报把失败状态覆盖掉
        data.setEsSyncFlag(SyncFlag.PENDING);
        retryQueue.add(sn);
        alertClient.warn("电池索引写入失败, sn=" + sn, e);
    }
    cacheService.put(cacheKey(sn), data);
}

下次遇到这些场景要警惕

  • “首次新建、之后更新”的同步逻辑:先找出决定走哪条分支的依据,确认它来自写入结果,而不是上报次数或缓存状态。用一块从没进过索引的数据连跑两轮上报,观察第二轮会不会自动补建文档。
  • 页面查搜索索引、真实数据在别处:构造一条业务库有、索引里没有的数据,看后台返回的是“暂无数据”还是报错;再比对两边条数和最近更新时间,确认这种缺失能被发现,而不是等用户反馈。
  • 新增或更新失败之后的处理:故意让索引调用失败一次,观察标识会不会被下一条上报覆盖、失败有没有进重试和告警。不要只看日志里有没有异常,要看下一次上报是否还在处理同一条数据。
  • 修复存量不一致数据时:先按“上报数据有、索引没有”的条件统计范围再补写,补写完成后用同一条件复查到条数为零,避免只修了被反馈的这一块电池。