发生了什么
平台给商户一类“免时长”额度:在约定期限内,用户使用某项服务不收费,这段可以免费使用的时间按天记账。商户按批次买下若干天再分配给名下用户,每个用户留一条剩余天数;商户另有一份总池,等于名下用户剩余天数的合计。用户每消耗一天,系统就在他的剩余天数里扣一天,同时从商户总池里扣掉一天。
这笔账不是用户来触发,而是靠一个每天固定运行的扣减任务:任务扫出当天要扣的用户权益,按商户分组逐户扣减。同一个商户同一天,一个用户只应被扣一天,总池也只减少当天实际消耗的总天数。任务按商户并行处理,并靠一把分布式锁保证同一时间只有一个执行者在跑。
这次当天运行时,一个商户名下用户多、数据量大,处理时间二十多秒;同一批里另一个商户在执行中抛了错。任务把重试交给一个统一的工具方法来处理,而重试的范围是整批商户,不是失败的那一个。于是整批被重新执行;重试去抢那把锁——锁只有 5 秒的过期时间,第一次执行还没跑完,锁就自动失效了。重试拿到锁,和第一次执行同时处理同一个商户。被两个执行都处理到的用户被扣了两次,多扣一天;只被其中一个执行处理到的用户只扣一次,所以出问题的是“部分用户”。
这个商户名下有一万九千多名用户各多扣了一天。当天按订正天数池的方式把多扣的天数刷回,同时把锁的过期时间从 5 秒调到 120 秒。调整后的并发验证情况,记录里没有说明。
本质
- 重试的作用域错了。一个商户失败,本来只该补做这个商户;重试包在整批执行外面,就让已经处理完的和正在处理中的商户一起再执行一次,从“补做失败的那一份”变成“把整批再做一遍”。
- 防重复只有锁这一道。任务开始前抢锁、结束后释放,靠它挡住第二个执行者。锁的过期时间只有 5 秒,比单个商户的处理时间短得多。
- 重试执行来抢同一把锁时,锁已经不在,它拿到锁,认为自己是唯一执行者,于是和第一次执行并行处理同一个商户。
- 扣减是逐用户累减:剩余天数减一、总池减一。这个动作不带“这个商户这一天已经扣过”的判断,同一个用户被两个执行各处理一次就减两次。哪些用户多扣,取决于两个执行重叠时各自处理到了谁,所以只有一部分用户多扣。
- 用户剩余天数和商户总池是同一次扣减的两边记录:用户这边多扣,池子要按同样的量订正回来。
用一把固定 5 秒过期的锁保护要跑几十秒的任务,锁在任务中途失效,重试进来就变成两个执行同时改同一批数据。
记录中的处理是把锁的过期时间从 5 秒调到 120 秒,让它覆盖慢商户的执行时间,并按订正天数池的方式把存量数据刷回;这先堵住了并发窗口,也修正了已经错的账。但它不解决重试范围本身。更彻底的方向是只让失败的商户重新入队;扣减再按“商户 + 日期 + 用户”记一次已处理标记,重试命中就跳过,即使锁再次失效也只扣一次;锁释放时校验持有者,别删掉别人的锁。这几层是层层收口:锁失效时靠标记拦住重复扣减,而标记写完前进程挂掉仍可能重做,所以逐用户的判断比按商户记批次更稳。代码为脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现。
错误代码
public class DailyDeductJob {
/** 每天执行一次:按商户并行扣减当天的免时长天数 */
public void run() {
// 为什么错:整批共用一把 5 秒过期的锁,单个商户要跑几十秒,
// 锁会在任务中途失效
if (!redisLock.tryLock("deduct:daily", 5, TimeUnit.SECONDS)) {
return;
}
try {
// 为什么错:重试包住整批商户,一个商户抛错就整批重跑,
// 而不是只补做失败的那一个
retryTemplate.execute(ctx -> {
merchantIds().parallelStream()
.forEach(id -> deductService.deductMerchant(id));
return null;
});
} finally {
redisLock.unlock("deduct:daily");
}
}
}
修复代码示例
public class DailyDeductJob {
/** 一个任务只处理一个商户,失败也只影响这一个商户 */
public void runOne(Long merchantId, LocalDate bizDate) {
String lockKey = "deduct:daily:" + merchantId;
String owner = UUID.randomUUID().toString();
// 锁的过期时间要覆盖单个商户的最长处理耗时;本次处理是把 5 秒调到 120 秒
if (!redisLock.tryLock(lockKey, owner, 120, TimeUnit.SECONDS)) {
return;
}
try {
// 按“商户 + 日期”记一次已处理,重试命中就直接跳过,不再完全依赖锁有效
if (deductBatchMapper.isFinished(merchantId, bizDate)) {
return;
}
deductService.deductMerchant(merchantId, bizDate);
deductBatchMapper.markFinished(merchantId, bizDate);
} finally {
redisLock.unlockIfOwner(lockKey, owner); // 只删自己持有的锁
}
}
}
// 重试只包住单个商户,失败不再连累其他商户
for (Long merchantId : merchantIds()) {
try {
job.runOne(merchantId, LocalDate.now());
} catch (Exception e) {
retryQueue.send(merchantId); // 单商户粒度重试,不再整批重跑
}
}
下次遇到这些场景要警惕
- 给批处理套重试之前:确认重试的作用域是单条还是整批。故意让一个商户抛错,看其他商户是否被再执行、同一商户同一天是否出现两批扣减记录。
- 用锁保护长耗时任务时:把锁的过期时间和单个任务的最长耗时放在一起对比,构造一个耗时超过过期时间的商户,让两个执行同时进来,检查同一批用户是否只扣一次;只跑一次正常流程发现不了它。
- 排查“多扣、多发、多生成”类问题时:按业务键加日期比对实际与应处理笔数,再看执行日志里锁的获取时间,确认是否出现过第二个执行者,别只看最后一次结果。
- 锁只能挡住同时执行,不能保证结果唯一:给累减动作再加一层“商户 + 日期 + 用户”的已处理标记,并专门验证锁提前失效时仍然只扣一次。