hive 分区的使用

使用分层指标的好处自然是体系化,预计算等等,但是软肋也很明显,跑一次数据太耗时了,而如果 SQL 逻辑设计的不够严密,随便瞎搞,那么痛苦就是一个无底深渊了 hive 的分区有自动分区和手工分区两种,从功能上看,自然是自动分区强大,但是,一来他的自动分区没有默认启用,想要启动还有一堆的参数要配,感觉也并不够成……

阅读全文

数据仓库,数据集市,ODS,主数据

数据仓库和数据集市的区别与联系, http://blog.csdn.net/vertour/a… 数据仓库和数据集市的区别与联系, http://blog.csdn.net/map_lixiu… ODS、数据集市、数据仓库的异同点是, https://www.zhihu.com/question… ODS:操作型数据仓库,最早的数据仓库模型。特点是数据模型采取了贴源设计,业务系统数据库……

阅读全文