发生了什么
平台把合作商户分成两级:一级商负责拓展,二级商跟着一级商的政策经营。分润规则写明某个商户在某个城市按什么方式从业务收入中分成,审核通过后才算正式生效。规则按“商户 + 城市”存放,一个商户在一个城市当前应当只有一条生效规则:既没有被删除,也没有被标成历史,正式规则的审核状态为 2。
一级商的分润条件谈定后,二级商要沿用同一套条件。分润规则页面有一个“同步规则”按钮,点下去以后,系统会为二级商插入一条属于它的规则:商户编号换成二级商,其余字段照抄一级商那条。而一二级商户台账并不直接读业务库,它从数仓一张每日全量的商户规则底表出发,按“商户 + 城市”取出当前生效的那一条,再整理成供对账使用的清单。业务库里的行会原样进入这张底表。
这次的问题出在同步写入:新记录的创建时间和更新时间没有按实际写入时刻生成,而是连同一级商源规则上的值一起复制了过来。业务侧核对台账时发现,同一个商户在同一个城市,按“未删除、非历史”筛出来两条并存的规则:一条是审核状态为 2 的正式规则,另一条是同步复制出来的,审核状态为空,还带着源规则的画像标签。台账要按“当前生效”取数,遇到这样的商户城市,结果就不再唯一,一二级商户台账也无法通过取数得到正确值。
本质
同步本身没有问题:它要解决二级商重复配置的麻烦,复制业务字段也是设计的一部分。
错在复制的范围没有收窄。同步程序读出源规则后,按“除商户编号以外整行照搬”的方式构造新记录,创建时间和更新时间被当成普通业务字段一起写了进去。这两个字段标识这条记录何时产生、最后一次何时被修改;沿用源规则的时间,等于把新记录登记成源规则产生那一刻的数据,它真正被写入的时刻在数据里没有留下痕迹。
新记录的管理标记同样是照搬来的:未删除、未标历史,于是它和正式规则一起落在“当前生效”这个集合里。一个商户在一个城市本该只有一条当前规则,现在变成两条;两条的创建时间和更新时间完全相同,单看数据分不出谁先写入、谁是后来同步出来的那一条。
数仓把这张规则表同步成底表,同步的正是这份“当前生效”集合。时间字段失真后,数仓无法再用它把记录和业务实际对齐,脏数据就沉淀在底表里。台账从底表取当前规则,遇到两条并存的商户城市,结果自然不准——这不是台账的汇总算错了,而是它读到的底表本身已经多出一行。
修复方向是:同步写入时,创建时间和更新时间必须按本次写入的实际时间生成,不能从源规则复制;同时扫描商户相关的其他服务,排查有没有同样的整行照搬写法,逐项排期;之后重新同步数仓数据,把已经沉淀的底表记录纠正过来。修复上线状态待确认。
还有一点:重新生成时间只能让新记录的时间变真实,并不能让“当前生效”集合里少掉一条。同步出来的行如果仍以未删除、非历史的身份留在表里,台账按老条件取数依然会看到两条。同步行以什么状态进表、取数时要不要再按审核状态收口,需要一并定,否则底表清一次,脏数据还会再长出来。
错误代码
public class IncomeShareRuleSyncService {
/** 点击“同步规则”:把一级商在某城市的当前规则复制给二级商 */
public void syncToChild(Long parentId, Long childId, String cityCode) {
IncomeShareRule parent = ruleMapper.selectCurrent(parentId, cityCode);
IncomeShareRule child = new IncomeShareRule();
// 为什么错:整对象浅拷贝把创建时间、更新时间和管理标记一起搬走,
// 新记录看起来与源规则同时产生,分不出先后
BeanUtils.copyProperties(parent, child);
child.setId(null);
child.setMerchantId(childId); // 只替换了商户编号
// 为什么错:入库前不把时间改成实际写入时刻
ruleMapper.insert(child);
}
}
修复代码示例
public class IncomeShareRuleSyncService {
/** 点击“同步规则”:把一级商在某城市的当前规则复制给二级商 */
public void syncToChild(Long parentId, Long childId, String cityCode) {
IncomeShareRule parent = ruleMapper.selectCurrent(parentId, cityCode);
IncomeShareRule child = new IncomeShareRule();
copyBusinessFields(parent, child); // 只复制合作方式、城市、标签等业务字段
child.setMerchantId(childId);
LocalDateTime now = LocalDateTime.now();
child.setCreateTime(now); // 创建时间反映这次写入的时刻
child.setUpdateTime(now); // 更新时间同样按实际生成
ruleMapper.insert(child);
}
}
两段代码是脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现。
下次遇到这些场景要警惕
- 新增“复制一条记录生成另一条记录”的功能时:先把字段分成两类,业务字段可以复制,创建时间、更新时间、审核状态这类由系统维护的字段必须重新生成。写完回查一次,确认新记录的时间晚于源记录。
- 给按“当前生效”取数的下游供数时:造一条同步复制出来的记录,用下游相同的筛选条件查一次,看同一业务键下会不会出现两条;出现两条时,先定新记录该以什么状态进入这张表。
- 时间字段承担业务含义时:确认写入路径上没有整对象拷贝或批量赋值覆盖它;在数仓侧按时间比对业务库,检查是否有时间早于业务发生时刻、或两条记录时间相同的行。
- 清理底表脏数据之前:先修写入逻辑,再重跑同步。只清数据不改写入,下一次点同步会原样再生成同一批记录。