核心目标:提前发现潜在 bug,确保表在极端场景下稳定运行,规避上线后线上故障。
异常值检测与校验
数值型异常值:金额、数量、时长等字段无负数、无超出合理阈值的异常值(如年龄 > 150)。
示例 SQL:
select * from 目标表 where 金额字段 < 0 or 数量字段 < 0;字符型异常值:字符串字段无乱码、特殊字符、首尾空格、不可见字符,避免关联失败、统计错误。
时间型异常值:无未来时间、无超出业务范围的历史时间、无格式错误的时间值。
边界场景专项验证
必须覆盖以下边界场景,确保加工逻辑正确:
时间边界:月末、年末、闰年 2 月 29 日、跨时区、凌晨 0 点、业务截止时间等边界时间点。
数值边界:最大值、最小值、0 值、null 值的处理逻辑。
增量边界:增量起始 / 结束时间、首次全量加载、增量补数据、历史数据重跑。
极端数据场景:大分区(单分区超 10 亿行)、源表无数据、源表全量更新、数据倾斜场景。
脏数据处理规则验证
源表脏数据(格式错误、类型错误、非法值、乱码、重复数据)的清洗、过滤、替换规则完全生效,无脏数据流入目标表,异常数据兜底逻辑符合设计,不影响主流程数据。
评论