数仓作业中各日期含义

发表于 更新于 分类于 阅读次数： Valine：

前言

数仓中的脚本作业，经常会存在补数或重刷历史数据的场景，一个高质量的脚本作业，往往具有极高的幂等性、鲁棒性。

这样，在重刷或补数时，才能以极简的操作保证数据的准确性，稳定性。

  • 缺少幂等性，可能存在传入相同的业务日期，但是结果不一致。
  • 缺少鲁棒性，可能导致脚本产出奔溃。

而要想写出具有幂等性、鲁棒性的脚本作业，必须考虑到动态传参及数据过滤，这就需要我们对数仓中的各日期含义一清二楚。

业务日期

数据日期

调度时间

调度运行时间