算是分享一个套路
首先 csv 文件落下来,然后到 hive 贴源,做一些拉链,增量
就到模型层,做一些 spark sql 跑一跑,就到指标层,这个步骤可以自己写一些脚本,算出来的指标层双写一份到 mysql
然后就是对接应用
整个过程算是简洁明了,优点是实施成本低,缺点的话不支持流式
算是分享一个套路
首先 csv 文件落下来,然后到 hive 贴源,做一些拉链,增量
就到模型层,做一些 spark sql 跑一跑,就到指标层,这个步骤可以自己写一些脚本,算出来的指标层双写一份到 mysql
然后就是对接应用
整个过程算是简洁明了,优点是实施成本低,缺点的话不支持流式