发生了什么
平台按套餐向用户提供一段时间内的服务。套餐分不同类型,其中一类标记为「免时长」。用户使用服务时,系统会记一条用户操作记录;库存变动另记一条库存操作记录。后台的导出功能把这两类记录拉成表格文件,分「用户操作记录」和「库存操作记录」两个页签,两个页签各读一张日志表。这次空白出现在「用户操作记录」页签的「套餐类型」列,这一列填的是这条记录对应的套餐名。
这些日志表不是业务程序直接写的。业务先把记录写进源记录表,再由一个同步程序通过消息把记录取过来,落进日志表;「套餐类型」读的套餐名,就是同步时从源记录的套餐配置里取出来的一个名字,顺手冗余进日志表。正常一条记录,源记录的套餐配置里有这个套餐类目名,同步程序把它写进日志表,导出时这一列就有值。
这个导出是刚上线的新功能。上线后商家反馈,新导出的明细里有一部分不显示型号。核对下来,空的是「套餐类型」这一列:表头在,其他列也有值,只有这一列在部分行是空白,文件照常生成,也没有提示哪几行缺字段。这个空白只影响导出时这一列的显示,这条数据本身照常生成,也不涉及金额。
本质
一句话:新加的导出列读的是一个「部分场景没有写入」的字段,导出程序把空值原样输出成空白,于是商家看到的是缺内容的行,而且从这一格看不出是「当时没记下套餐名」还是「这里本来就没有内容」。
按先后顺序看:
- 正常路径是三步:业务写源记录,套餐配置里有套餐类目名;同步程序收到消息,把套餐类目名取出来写进日志表;导出读日志表,把套餐名填进「套餐类型」列。
- 这次出问题的行,在源记录这一步,套餐配置里就没有套餐类目名这个键。名字从源头就缺,后面每一步都只能拿到空。
- 同步程序照原样把空值写进日志表,不判断、不记录、也不计数。于是这些行在日志表里的套餐名是空的,和「这一列本来就该为空」在数据上长得一模一样。
- 导出程序把日志表里的套餐名直接填进单元格。空值填进去就是空白,导出文件照常生成,没有提示哪几行缺字段。
- 需求侧也没有规定存量数据怎么办:新功能按「字段有值」设计,没有说明历史上没有这个值的记录要不要回填、导出时该怎么显示。
结果就是一份看起来正常的导出文件:行数对,其他列都有值,只有「套餐类型」这一列的部分行空白,商家拿它逐行核对时对不上。
新增一列时,先确认这一列在存量记录里有没有值;空值的含义不定义,导出时就会变成一片空白。
处理是两步:先订正「套餐类型」这一列的数据,再修改这个字段的写入并评估历史数据处理。订正覆盖了多少行、写入具体怎么改、修复是否已经上线并复核,目前没有可确认的信息。
下面两段代码是脱敏教学示例,用于解释错误与修复思路,不代表实际项目源码或已上线实现;类名、方法名、字段名均为示意。
错误代码
/** 同步程序:把源记录里的套餐类目名冗余写入用户操作日志 */
public void onRecordMessage(RecordMessage msg) {
UserActionLog row = new UserActionLog();
row.setUid(msg.getUid());
row.setProductType(msg.getProductType()); // 3 表示免时长
// 为什么错:套餐类目名在部分源记录的套餐配置里并不存在,
// 这里直接取值再落库,取到空也照写,缺值的行不计数、不告警
row.setPackageName(msg.getPackageConfig().getPackageCategoryName());
actionLogMapper.insert(row);
}
/** 导出:把日志表里的套餐名填进「套餐类型」列 */
public List<String> buildPackageCells(List<UserActionLog> rows) {
List<String> cells = new ArrayList<>();
for (UserActionLog row : rows) {
// 为什么错:空值直接写进单元格,导出后就是一片空白,
// 和“这一格本来就没有内容”无法区分
cells.add(row.getPackageName());
}
return cells;
}
修复代码示例
/** 同步程序:套餐类目名取不到时不再静默落空,留痕并计数 */
public void onRecordMessage(RecordMessage msg) {
UserActionLog row = new UserActionLog();
row.setUid(msg.getUid());
row.setProductType(msg.getProductType());
PackageConfig config = msg.getPackageConfig();
String packageName = config == null ? null : config.getPackageCategoryName();
if (StringUtils.isBlank(packageName)) {
// 修复:缺值时留一条可查的记录并计数,便于找出还有哪些场景没写入
log.warn("packageCategoryName missing, recordId={}, productType={}",
msg.getRecordId(), msg.getProductType());
missingPackageCounter.increment();
}
row.setPackageName(packageName);
actionLogMapper.insert(row);
}
/** 导出:空值给出明确占位,并统计缺字段的行数 */
public List<String> buildPackageCells(List<UserActionLog> rows) {
List<String> cells = new ArrayList<>();
for (UserActionLog row : rows) {
cells.add(StringUtils.isBlank(row.getPackageName()) ? "未记录" : row.getPackageName());
}
return cells;
}
下次遇到这些场景要警惕
- 给导出或报表新增一列时,先按这一列在存量记录里统计空值比例和涉及的记录范围,再决定上线前回填、给出占位还是暂不上线;不要只拿新产生的数据验证这一列有值。
- 字段靠消息从另一张表冗余过来时,把源结构里哪些键是可选的列清楚,源字段缺失时是落空、补默认值还是拒绝处理,要在写入端定下来,并留下可查的记录和计数。
- 排查「导出某列是空白」时,按导出读取的字段、写这个字段的同步程序、源记录三级往回查:先数日志表里空值行的范围,再看源记录里对应的键是否存在,别停在导出这一层。
- 用一条有值记录和一条空值记录各导一次,确认导出结果能看出这一格是缺字段,而不是留一片读不出含义的空白。