onedata在海拍客实践

前言

不知做数仓的各位在工作中是否碰到以下几个现象

  • 业务方问,这个报表中的xx指标和另一个报表中的数据为什么对不上?一查,原来是表报02种的指标不含包了某个条件。
  • 新接了一个需求,是一个从来没有碰到过的需求,于是坑此坑系的去梳理了半天,然后一次偶然的机会,同事告诉你有现成的,某某以前做过。
  • 业务方拿着一个表的某个字段过来问你,这个字段是什么意思?
  • 某业务方开发的脚本,速度奇慢,于是让你帮忙优化,你一看脚本,好家伙,代码惨不忍睹,各种模型表中已有指标全部重新计算。
  • 使用其他同事开发的模型,各种命名全靠猜。
  • 已上线的任务,某天业务方反馈数据重复了,某某字段为空了等等等。

如果你有过以上大多数精力,恭喜你,你的数仓建设尚未体系化,处于百花齐放的各自开发阶段。

海拍客的现状

本人刚来海拍客的时候,上述描述的情况不断在发生,几个比较严重的原因和现象个人总结如下。

1. 需求烟囱化

因海拍客采用的是