hadoop yarn hdfs 概念的理解

有几个说的不错的文章,看这里,https://www.ibm.com/developerw…,来自 ibm,从理论到例子,讲解了 yarn 的产生和变化 http://www.lai18.com/content/1…,对计算框架的历史演变有一个概述 http://www.cnblogs.com/LeftNot…,辅助理解 yarn 的一些产生背景 ================= http://www.cnblogs.com/……

阅读全文

hive 安装记录

基本上按照这两个来,Hadoop集群之Hive安装配置,这个文章比较新,格式也比较规范 Hive安装及使用攻略,这个时效性没有那么好,但是说明的比较详细 Hive详细教程,这里给出了一些原理图 http://www.cnblogs.com/inuyash…,这个是一步一步来 ====================== 启动的时候报一个错,HiveServer: ClassNotFound……

阅读全文

spark 操作 hbase

之前说到这个,spark 操作 mysql ========================= 买一送一,hbase 的: Spark读取Hbase中的数据 ====================== 关于操作 hbase,还有这两个文章,Spark 下操作 HBase(1.0.0 新 API),https://gist.github.com/wuchon… 都是不错的,另外说一下,”org.apache.hbase” % “hba……

阅读全文

spark sql

http://spark.apache.org/docs/l… 看这里好像可以把一个 csv 文件当做表来处理,那就好多了 =================== 2016-4-20 22:43:18 如果你 assembly 出来的 jar 连不上 jdbc,参考这里,http://stackoverflow.com/quest… I was able to get it to work locally with these commands: sbt package and spar……

阅读全文

scala 上手

随着 spark 使用深入,越来越感觉用 java 是不行的了,社区里大家都用 scala 讨论,用 java 就像一个语言不通的人一样,换呗,先搭环境,再学语法,都不是什么难点,就是花时间,环境最是烦人,耗时耗力还不讨好,语法倒好,以我十八般武艺样样不精通的经验来说,就是个类似 js 的函数式,不难 先看环境问题,scala ecli……

阅读全文

spark 操作 mysql

主要有两个思路,一个是旧的,spark 1.3 之前,自己动手丰衣足食,后来有了 spark sql,使用它的 dataframe,也是可以的 ================================= 旧的有: Spark与Mysql(JdbcRDD)整合开发 Spark将计算结果写入到Mysql中 这种 jdbc rdd 的,貌似是 scala 专属,Spark SQL: JdbcRDD ==========================……

阅读全文

spark 算子理解和存储方式

对 combineByKey 的理解,参看,http://luojinping.com/2016/01/… combineByKey应用举例 求均值 val rdd = sc.textFile(“气象数据”) val rdd2 = rdd.map(x=>x.split(” “)).map(x => (x(0).substring(“从年月日中提取年月”),x(1).toInt)) val createCombiner = (k: String, v:……

阅读全文

spark 移动均值

想要在 spark 上算移动均值,可以参考这个 http://stackoverflow.com/quest… You can use the sliding function from MLLIB which probably does the same thing as Daniel’s answer. You will have to sort the data by time before using the sliding function. import org.apache.spark.mllib.rdd.RDDFun……

阅读全文

spark Task not serializable

http://stackoverflow.com/quest… In case of using Java API you should avoid anonymous class when passing to the mapping function closure. Instead of doing map( new Function) you need a class that extends your function and pass that to the map(..) See: https://yanago.wordpress.com/2… ht……

阅读全文

数据仓库,数据集市,ODS,主数据

数据仓库和数据集市的区别与联系, http://blog.csdn.net/vertour/a… 数据仓库和数据集市的区别与联系, http://blog.csdn.net/map_lixiu… ODS、数据集市、数据仓库的异同点是, https://www.zhihu.com/question… ODS:操作型数据仓库,最早的数据仓库模型。特点是数据模型采取了贴源设计,业务系统数据库……

阅读全文