之前说到这个，spark 操作 mysql
=========================
买一送一，hbase 的：
Spark读取Hbase中的数据
======================
关于操作 hbase，还有这两个文章，Spark 下操作 HBase（1.0.0 新 API），https://gist.github.com/wuchon…
都是不错的，另外说一下，”org.apache.hbase” % “hba…… 阅读全文
http://spark.apache.org/docs/l… 看这里好像可以把一个 csv 文件当做表来处理，那就好多了
===================
2016-4-20 22:43:18 如果你 assembly 出来的 jar 连不上 jdbc，参考这里，http://stackoverflow.com/quest…
I was able to get it to work locally with these commands: sbt package and spar…… 阅读全文
随着 spark 使用深入，越来越感觉用 java 是不行的了，社区里大家都用 scala 讨论，用 java 就像一个语言不通的人一样，换呗，先搭环境，再学语法，都不是什么难点，就是花时间，环境最是烦人，耗时耗力还不讨好，语法倒好，以我十八般武艺样样不精通的经验来说，就是个类似 js 的函数式，不难
先看环境问题，scala ecli…… 阅读全文
主要有两个思路，一个是旧的，spark 1.3 之前，自己动手丰衣足食，后来有了 spark sql，使用它的 dataframe，也是可以的
=================================
旧的有：
Spark与Mysql(JdbcRDD)整合开发
Spark将计算结果写入到Mysql中
这种 jdbc rdd 的，貌似是 scala 专属，Spark SQL: JdbcRDD
==========================…… 阅读全文
对 combineByKey 的理解，参看，http://luojinping.com/2016/01/…
combineByKey应用举例
求均值
val rdd = sc.textFile(“气象数据”)
val rdd2 = rdd.map(x=>x.split(” “)).map(x => (x(0).substring(“从年月日中提取年月”),x(1).toInt))
val createCombiner = (k: String, v:…… 阅读全文
想要在 spark 上算移动均值，可以参考这个
http://stackoverflow.com/quest…
You can use the sliding function from MLLIB which probably does the same thing as Daniel’s answer. You will have to sort the data by time before using the sliding function.
import org.apache.spark.mllib.rdd.RDDFun…… 阅读全文
http://stackoverflow.com/quest…
In case of using Java API you should avoid anonymous class when passing to the mapping function closure. Instead of doing map( new Function) you need a class that extends your function and pass that to the map(..) See: https://yanago.wordpress.com/2…
ht…… 阅读全文
数据仓库和数据集市的区别与联系, http://blog.csdn.net/vertour/a…
数据仓库和数据集市的区别与联系, http://blog.csdn.net/map_lixiu…
ODS、数据集市、数据仓库的异同点是, https://www.zhihu.com/question…
ODS：操作型数据仓库，最早的数据仓库模型。特点是数据模型采取了贴源设计，业务系统数据库…… 阅读全文
http://www.fx114.net/qa-230-91…, 三大主流ETL工具选型
ETL（extract, transform and load）产品乍看起来似乎并不起眼，单就此项技术本身而言，几乎也没什么特别深奥之处，但是在实际项目中，却常常在这个环节耗费太多的人力，而在后续的维护工作中，更是往往让人伤透脑筋。之所以出现这种状况，恰恰与项目初期没…… 阅读全文
关于元数据的文章，看到下面的这些算是不错的
http://www.ibm.com/developerwo…，大数据治理系列，第三部分: 实施元数据管理
其中：
根据元数据管理的成熟度，大体可以分成 6 个级别，具体如图 1 所示：
L0: 初始状态
元数据分散于日常的业务和职能管理中，由某个人或某一组人员在局部产生或获取，并在局部使用，其…… 阅读全文