hive 分区的使用

使用分层指标的好处自然是体系化,预计算等等,但是软肋也很明显,跑一次数据太耗时了,而如果 SQL 逻辑设计的不够严密,随便瞎搞,那么痛苦就是一个无底深渊了 hive 的分区有自动分区和手工分区两种,从功能上看,自然是自动分区强大,但是,一来他的自动分区没有默认启用,想要启动还有一堆的参数要配,感觉也并不够成……

阅读全文

spark on hive 模式导致读写 hdfs 失败

spark sql 操作 hive 表,底下的支撑其实还是 hdfs,之前的集群,hdfs 没有做 HA,倒也相安无事,不过最新 spark sql 的计算任务迁移到了一个新的集群,刚迁移过去的时候,计算任务是能够正常跑的,但是,后来这个集群上的 hdfs 做了 HA,问题就来了 Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.had……

阅读全文

hive 安装记录

基本上按照这两个来,Hadoop集群之Hive安装配置,这个文章比较新,格式也比较规范 Hive安装及使用攻略,这个时效性没有那么好,但是说明的比较详细 Hive详细教程,这里给出了一些原理图 http://www.cnblogs.com/inuyash…,这个是一步一步来 ====================== 启动的时候报一个错,HiveServer: ClassNotFound……

阅读全文