使用分层指标的好处自然是体系化,预计算等等,但是软肋也很明显,跑一次数据太耗时了,而如果 SQL 逻辑设计的不够严密,随便瞎搞,那么痛苦就是一个无底深渊了
hive 的分区有自动分区和手工分区两种,从功能上看,自然是自动分区强大,但是,一来他的自动分区没有默认启用,想要启动还有一堆的参数要配,感觉也并不够成…… 阅读全文
hive 分区的使用
Reply
使用分层指标的好处自然是体系化,预计算等等,但是软肋也很明显,跑一次数据太耗时了,而如果 SQL 逻辑设计的不够严密,随便瞎搞,那么痛苦就是一个无底深渊了
hive 的分区有自动分区和手工分区两种,从功能上看,自然是自动分区强大,但是,一来他的自动分区没有默认启用,想要启动还有一堆的参数要配,感觉也并不够成…… 阅读全文
spark sql 操作 hive 表,底下的支撑其实还是 hdfs,之前的集群,hdfs 没有做 HA,倒也相安无事,不过最新 spark sql 的计算任务迁移到了一个新的集群,刚迁移过去的时候,计算任务是能够正常跑的,但是,后来这个集群上的 hdfs 做了 HA,问题就来了
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.had…… 阅读全文
基本上按照这两个来,Hadoop集群之Hive安装配置,这个文章比较新,格式也比较规范
Hive安装及使用攻略,这个时效性没有那么好,但是说明的比较详细
Hive详细教程,这里给出了一些原理图
http://www.cnblogs.com/inuyash…,这个是一步一步来
======================
启动的时候报一个错,HiveServer: ClassNotFound…… 阅读全文