1. 数据链条越长,对数据一致性的维护成本越高。
这个成本高体现在:
a) 链条长意味的数据的搬运和重复存储,这个搬运的动作,本身可能失败,存储本身可能有问题
b) 哪怕搬运动作和存储可靠,链条上下游之间的细微逻辑差异,也可能导致数据一致性的问题,例如一个指标在上下游的分别加工中就出现了差异,而且这个是很难避…… 阅读全文
数据预处理与数据服务之间的平衡
Reply
1. 数据链条越长,对数据一致性的维护成本越高。
这个成本高体现在:
a) 链条长意味的数据的搬运和重复存储,这个搬运的动作,本身可能失败,存储本身可能有问题
b) 哪怕搬运动作和存储可靠,链条上下游之间的细微逻辑差异,也可能导致数据一致性的问题,例如一个指标在上下游的分别加工中就出现了差异,而且这个是很难避…… 阅读全文