发生了什么

商户 App 是商家查看自己经营情况的地方,页面上有一块“今日营业额”,展示当天用户付款金额减去当天退款金额之后的合计。这里的“预付金额”指用户下单时先付的那笔钱,“退款金额”指事后退回去的钱。营业额不单独存一条记录,而是每次打开页面时现算:程序把当天的预付金额加起来,再减去当天的退款金额,两个合计相减得到一个数。

正常时这个数应该只有两位小数,也就是精确到分。这一次有商户反馈,页面上的金额后面跟了一长串小数,形如 999.9997(示意数字)。能确认的影响是 1 个商户,页面数字看着不对。

排查时把两个来源分开核对。订单数据在两处各存一份:业务库存订单明细,搜索库存订单的一个副本,用来支撑订单列表和统计。退款金额的合计从业务库直接查,用 SQL 的求和语句聚合,这部分数据正常。预付金额的合计从搜索库取:订单写进搜索库时,金额字段用的存储类型是浮点数(double),而这个字段在订单实体上是精确小数(BigDecimal),写进去之前要转一次类型;取数时又是在搜索库里对这个浮点字段做求和聚合。用两笔金额为 1.1 和 2.2 的订单在测试环境验证,求和结果不是精确的 3.30。

本质

钱用十进制描述,金额只能精确到分。二进制浮点数无法精确表示 0.1 这类值,只能存一个最接近的近似值。给搜索库设计字段类型时没有深究这一点,金额选了 double,失真从写入那一刻就开始了。

  1. 订单实体上的金额是 BigDecimal,1.1 就是 1.1,精确。
  2. 订单同步到搜索库,金额字段映射成 double,落库的值是 1.1 的最近二进制近似值。
  3. 求和聚合在这个 double 字段上逐笔累加,每一笔的微小误差都带进结果,笔数越多尾数越长。
  4. 退款合计来自业务库的 SQL 聚合,走的是精确的十进制累加,没有这个问题。
  5. 两个合计相减,差里保留了浮点尾数;接口没有截断,原样返回给商户 App,页面就显示成带一长串小数的金额。

处理分两层。接口返回之前先四舍五入保留两位小数(已处理):当前失真的幅度表现为 0.999... 或 0.000...1 这类尾数,四舍五入后两位小数不受影响,因此评估为暂时没有业务影响;但失真幅度随笔数累积,金额规模变大之后,四舍五入也不能保证结果准确。底层修复方向是把搜索库里所有金额字段改成按固定缩放因子用整数存储的定点类型(scaled_float),并重建历史数据;这层改造是否完成、是否上线未确认。

在返回前四舍五入只是把尾数藏起来,搜索库存的仍然是近似值。

错误代码

// 订单实体:金额用精确十进制
public class OrderDoc {
    private BigDecimal paidAmount;   // 预付金额
}

// 营业额 = 搜索库的预付合计 - 业务库的退款合计
public BigDecimal todayRevenue(long merchantId, LocalDate day) {
    SearchRequest request = new SearchRequest("order_index");
    request.source(new SearchSourceBuilder()
            .size(0)
            .query(QueryBuilders.termQuery("merchantId", merchantId))
            .aggregation(AggregationBuilders.sum("paidSum").field("paidAmount")));

    // 为什么错:paidAmount 在索引里是 double,求和结果是带浮点尾数的近似值
    double paidSum = client.search(request, RequestOptions.DEFAULT)
            .getAggregations().get("paidSum").getValue();

    // 退款走业务库,SQL 聚合,这部分一开始就是准的
    BigDecimal refundSum = refundMapper.sumByDay(merchantId, day);

    // 为什么错:近似值直接参与相减,尾数一路带到返回值,页面原样展示
    return BigDecimal.valueOf(paidSum).subtract(refundSum);
}

修复代码示例

// 1) 金额字段改成按 100 缩放的定点类型,存的是整数,求和不再逐笔累加浮点误差
String mapping = "{\"properties\":{\"paidAmount\":"
        + "{\"type\":\"scaled_float\",\"scaling_factor\":100}}}";
// 改类型后必须重建索引,把历史订单重新写入,否则旧文档还是 double

// 2) 同步任务仍按精确十进制写入,保留两位
orderDoc.setPaidAmount(order.getPaidAmount().setScale(2, RoundingMode.HALF_UP));

// 3) 接口返回前统一收口到两位小数,这一层是临时兜底
public BigDecimal todayRevenue(long merchantId, LocalDate day) {
    double paidSum = client.search(request, RequestOptions.DEFAULT)
            .getAggregations().get("paidSum").getValue();
    BigDecimal refundSum = refundMapper.sumByDay(merchantId, day);

    // 只调整与缺陷有关的部分:两边都收到两位小数再相减
    return BigDecimal.valueOf(paidSum)
            .setScale(2, RoundingMode.HALF_UP)
            .subtract(refundSum.setScale(2, RoundingMode.HALF_UP));
}

下次遇到这些场景要警惕

  • 金额要写进搜索库或文档库做统计:先看字段映射的类型,金额应该用整数分、定点小数或按缩放因子存的定点类型;用一笔 1.1、一笔 2.2 的测试数据跑一次求和聚合,看结果是否精确等于 3.30。
  • 统计数字由多个数据源拼出来:把每个来源的中间合计单独打出来,再和明细逐笔加总对一遍。这次退款合计正常、预付合计失真,只有分开核对才定位到具体一段。
  • 页面出现 0.9999 或 0.0001 这类尾数:不要停在展示层四舍五入,回去确认存储类型的精度损失能不能改,并确认历史数据是否需要重算,只改新数据会新旧混用。
  • 准备改金额字段的类型:先定好重建索引或迁移方案、回滚方式和比对口径,改完用同一批订单比对改前改后的合计,确认旧数据也被覆盖。