目前的数据处理流程

算是分享一个套路 首先 csv 文件落下来,然后到 hive 贴源,做一些拉链,增量 就到模型层,做一些 spark sql 跑一跑,就到指标层,这个步骤可以自己写一些脚本,算出来的指标层双写一份到 mysql 然后就是对接应用 整个过程算是简洁明了,优点是实施成本低,缺点的话不支持流式

阅读全文