核心目标:提前发现潜在 bug,确保表在极端场景下稳定运行,规避上线后线上故障。

  1. 异常值检测与校验

    • 数值型异常值:金额、数量、时长等字段无负数、无超出合理阈值的异常值(如年龄 > 150)。

      示例 SQL:select * from 目标表 where 金额字段 < 0 or 数量字段 < 0;

    • 字符型异常值:字符串字段无乱码、特殊字符、首尾空格、不可见字符,避免关联失败、统计错误。

    • 时间型异常值:无未来时间、无超出业务范围的历史时间、无格式错误的时间值。

  2. 边界场景专项验证

    必须覆盖以下边界场景,确保加工逻辑正确:

    • 时间边界:月末、年末、闰年 2 月 29 日、跨时区、凌晨 0 点、业务截止时间等边界时间点。

    • 数值边界:最大值、最小值、0 值、null 值的处理逻辑。

    • 增量边界:增量起始 / 结束时间、首次全量加载、增量补数据、历史数据重跑。

    • 极端数据场景:大分区(单分区超 10 亿行)、源表无数据、源表全量更新、数据倾斜场景。

  3. 脏数据处理规则验证

    源表脏数据(格式错误、类型错误、非法值、乱码、重复数据)的清洗、过滤、替换规则完全生效,无脏数据流入目标表,异常数据兜底逻辑符合设计,不影响主流程数据。