spark sql 操作 hive 表，底下的支撑其实还是 hdfs，之前的集群，hdfs 没有做 HA，倒也相安无事，不过最新 spark sql 的计算任务迁移到了一个新的集群，刚迁移过去的时候，计算任务是能够正常跑的，但是，后来这个集群上的 hdfs 做了 HA，问题就来了
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.had…… 阅读全文
spark on hive 模式导致读写 hdfs 失败
2
随感
在学校，在大公司，有着大纲和体制的保护，大部分事情，我们都能预先知道，会是怎么样，以及能够知道怎么去做，进而预先评估自己是否倾向和适合这么去做，然后做出决定
然而，离开这种循规蹈矩的组织，一旦到了一些小的组织和直面社会的时候，才会发现，很多事情，一来无法预估，二来事到临头，很多时候也没有什么思路能…… 阅读全文
目前的数据处理流程
算是分享一个套路
首先 csv 文件落下来，然后到 hive 贴源，做一些拉链，增量
就到模型层，做一些 spark sql 跑一跑，就到指标层，这个步骤可以自己写一些脚本，算出来的指标层双写一份到 mysql
然后就是对接应用
整个过程算是简洁明了，优点是实施成本低，缺点的话不支持流式
阅读全文
hive
hive 是一个什么垃圾玩意儿，真能作死啊
————-
2016-8-21 09:44:53 补充说几个点吧
【1】hive 本身的依赖关系比较复杂，依赖问题可以搞死人，跟 spark 结合的时候还挑版本，文档也不好
【2】想要让 hvie on spark 的话，需要自行编译 spakr assembly，网上有些文章说 pre build 版本是带了 Phiv…… 阅读全文
javascript 取得当前 yyyymmdd
这里有一个答案，http://stackoverflow.com/questions/3066586/get-string-in-yyyymmdd-format-from-js-date-object
Altered piece of code I often use:
Date.prototype.yyyymmdd = function() {
var mm = this.getMonth() + 1; // getMonth() is zero-based
var dd = this.getDate();
return [this.getFullYear…… 阅读全文
spark 读取 jdbc 的时候 where 过滤的问题
一般来说，我们使用这样的方式让 spark 去读取 jdbc
DataFrame dataFrame = sqlContext.read().jdbc(jdbcUrl, tableName, DBConfigUtil.generateProperties());
随之而来一个问题是，这样是读取整张表的，如果我们要读取某一部分的数据呢？
自然的想法是 sqlContext 的 read 接口应该有参数可以控制，可惜没有，走读…… 阅读全文
搬家与离家
一
在北京的项目还不知道要呆多久，深圳的房租已经空着两个月，白白交钱不说，这阴雨天气，还发着霉，这样下去肯定受不了，趁着这次回深圳的端午，就把宝安的房间收拾掉了，东西搬回家，刚好房租的合同也到期。
本来想着东西没有多少的，爸妈闲着没事干，也说跟我一起过去收拾，结果去到才发现，枕头被子桌子椅子台式机音…… 阅读全文
那些我们以为的城市
去过的地方慢慢在积攒。由于我有一个在百度地图上标注地点的习惯，当有一天我把地图的比例尺缩小的时候，才发现已经去过不少城市了。当然，有两个局限，一个是没有国外的，这个是因为穷。另外一个是大部分都是局限在城市，而没有到乡镇去。
不过，随之而来的，是想到了这样一个问题：那些我们所以为的城市的，和真实的城…… 阅读全文
hadoop yarn hdfs 概念的理解
有几个说的不错的文章，看这里，https://www.ibm.com/developerw…，来自 ibm，从理论到例子，讲解了 yarn 的产生和变化
http://www.lai18.com/content/1…，对计算框架的历史演变有一个概述
http://www.cnblogs.com/LeftNot…，辅助理解 yarn 的一些产生背景
=================
http://www.cnblogs.com/…… 阅读全文
hive 安装记录
基本上按照这两个来，Hadoop集群之Hive安装配置，这个文章比较新，格式也比较规范
Hive安装及使用攻略，这个时效性没有那么好，但是说明的比较详细
Hive详细教程，这里给出了一些原理图
http://www.cnblogs.com/inuyash…，这个是一步一步来
======================
启动的时候报一个错，HiveServer: ClassNotFound…… 阅读全文