数据预处理与数据服务之间的平衡

1. 数据链条越长,对数据一致性的维护成本越高。 这个成本高体现在: a) 链条长意味的数据的搬运和重复存储,这个搬运的动作,本身可能失败,存储本身可能有问题 b) 哪怕搬运动作和存储可靠,链条上下游之间的细微逻辑差异,也可能导致数据一致性的问题,例如一个指标在上下游的分别加工中就出现了差异,而且这个是很难避……

阅读全文