发生了什么
平台会按商户分配一段“免时长”,也就是可以免费使用服务的时长额度。每分配一次、每调整一次,系统都会留一条分配记录,写明这次分配给了谁、分配多少、什么时候分配。商户后台的免时长列表就是用来核对这类记录的:一条分配对应一行,翻完全部页数加起来,应该正好等于列表上显示的总条数。
这次出问题的那个商户,免时长列表里有四十多条记录,页面每页显示 20 条。用户往后翻页时发现,同一条分配记录在相邻两页都出现了,把各页的行数加起来也比总数多。这个列表是核对额度用的,出现重复行,会让人误以为系统多分配了一次,实际数据并没有多。
更要紧的是,分页取数不稳定并不只会产生重复。同一批记录里也可能有某一条被两个页面各自跳过,从头翻到尾都看不到——重复很显眼,遗漏却几乎不会被发现,只有和总数对不上时才露一点头。
这个现象是 2024 年 7 月的一次改动引入的,问题出在列表取数这一层,和分配时写进去的数据没有关系。
本质
列表不是一次把所有记录取出来,而是每次只取一页。“第几页、每页几条”最终会变成一条查询:先按某种顺序排好,跳过前面若干条,再取 20 条。这里的关键是,这个顺序必须唯一确定,否则每次执行查询都可能给出不同的先后。
错误就在排序条件上。这次列表只按一个不唯一的列排序。时间、状态、金额这类字段都很容易并列,同一秒内写入的多条记录,排序值是相同的。对排序值并列的几条记录,数据库没有义务给出固定次序,两次查询的先后可以不一样。
过程是这样的:
- 第 1 页执行的是“按这个顺序跳过 0 条,取 20 条”。这 20 条里存在排序值并列的记录。
- 第 2 页执行的是“按这个顺序跳过 20 条,取 20 条”。这是另一次独立查询,数据库重新排了一遍,并列记录之间的相对位置可能与上一次不同。
- 位置一变,原本落在第 1 页末尾的那条记录,就可能被排进第 2 页的窗口,于是它在两页都出现;同时另一条记录被挤出两页窗口,两页都取不到。
- 用户看到的结果就是:翻页时同一条记录重复出现,逐页相加的条数也和总数对不上。
排序不唯一时,“跳过多少条”就失去了确定含义,重复和遗漏会同时出现在翻页边界上。
最终的处理方式是:排序字段多带上 id 这类唯一列,让整张列表的顺序被完全固定,相邻两页的窗口就不会互相侵入。下面的代码是按这个机制写的最小示例,不代表项目源码。
错误代码
// 每页取 20 条,offset 由页码算出
public List<Allocation> page(long merchantId, int pageNo, int pageSize) {
int offset = (pageNo - 1) * pageSize;
String sql = "SELECT id, merchant_id, duration_minutes, created_at "
+ "FROM free_duration_allocation "
+ "WHERE merchant_id = ? "
+ "ORDER BY created_at DESC " // 错:同一秒的多条记录排序值相同,顺序不唯一
+ "LIMIT ? OFFSET ?"; // 错:两次查询各自重排,并列行可能换位置
return jdbc.query(sql, rowMapper, merchantId, pageSize, offset);
}
修复代码示例
// 相同的入参,只把排序补成唯一
public List<Allocation> page(long merchantId, int pageNo, int pageSize) {
int offset = (pageNo - 1) * pageSize;
String sql = "SELECT id, merchant_id, duration_minutes, created_at "
+ "FROM free_duration_allocation "
+ "WHERE merchant_id = ? "
+ "ORDER BY created_at DESC, id DESC " // 加唯一列兜底,整张列表的顺序唯一确定
+ "LIMIT ? OFFSET ?";
return jdbc.query(sql, rowMapper, merchantId, pageSize, offset);
}
Allocation 表示一条分配记录,merchantId 是商户编号,offset 是这一页要跳过的条数。修好之后,任意一页取到的都是同一份固定顺序里的一段,同一行不会再落到两个窗口里。要注意这个改法只解决“顺序不唯一”,翻页期间如果有新记录插入,窗口仍然会整体后移;条数要求严格一致的场景,应改用按排序列传游标的方式,而不是跳条数。
下次遇到这些场景要警惕
- 用户反馈列表翻页后重复或缺一条:把同一条件下的所有页依次取完拼起来,与不分页直接查出的全量结果比对条数和编号集合,确认既没有重复也没有缺失,别只看第一页。
- 给列表加排序或改排序:检查排序字段组合是否唯一;只要其中任何一列会并列(时间、状态、金额、名称),就补主键作为最后一列,不要指望数据库每次给出相同顺序。
- 准备测试数据:翻页问题要造出排序值并列的数据(同一秒批量写入、状态相同的多条记录),并让数据超过一页,再翻到页数边界附近观察,一页刚好装满时更容易看出来。
- 排序改动上线前:确认排序列上存在可用的组合索引,补上 id 兜底后不要因此退化成全表排序,把修重复的问题换成页面变慢。