javascript 取得当前 yyyymmdd

这里有一个答案,http://stackoverflow.com/questions/3066586/get-string-in-yyyymmdd-format-from-js-date-object Altered piece of code I often use: Date.prototype.yyyymmdd = function() { var mm = this.getMonth() + 1; // getMonth() is zero-based var dd = this.getDate(); return [this.getFullYear……

阅读全文

Posted in Tech | Tagged | Leave a comment

spark 读取 jdbc 的时候 where 过滤的问题

一般来说,我们使用这样的方式让 spark 去读取 jdbc DataFrame dataFrame = sqlContext.read().jdbc(jdbcUrl, tableName, DBConfigUtil.generateProperties()); 随之而来一个问题是,这样是读取整张表的,如果我们要读取某一部分的数据呢? 自然的想法是 sqlContext 的 read 接口应该有参数可以控制,可惜没有,走读……

阅读全文

Posted in Tech | Tagged | Leave a comment

搬家与离家

一 在北京的项目还不知道要呆多久,深圳的房租已经空着两个月,白白交钱不说,这阴雨天气,还发着霉,这样下去肯定受不了,趁着这次回深圳的端午,就把宝安的房间收拾掉了,东西搬回家,刚好房租的合同也到期。 本来想着东西没有多少的,爸妈闲着没事干,也说跟我一起过去收拾,结果去到才发现,枕头被子桌子椅子台式机音……

阅读全文

Posted in Life | Leave a comment

那些我们以为的城市

去过的地方慢慢在积攒。由于我有一个在百度地图上标注地点的习惯,当有一天我把地图的比例尺缩小的时候,才发现已经去过不少城市了。当然,有两个局限,一个是没有国外的,这个是因为穷。另外一个是大部分都是局限在城市,而没有到乡镇去。 不过,随之而来的,是想到了这样一个问题:那些我们所以为的城市的,和真实的城……

阅读全文

Posted in Life | Leave a comment

hadoop yarn hdfs 概念的理解

有几个说的不错的文章,看这里,https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/,来自 ibm,从理论到例子,讲解了 yarn 的产生和变化 http://www.lai18.com/content/1103036.html,对计算框架的历史演变有一个概述 http://www.cnblogs.com/LeftNotEasy/archive/2012/02/18/why-yarn.html,辅助理……

阅读全文

Posted in Tech | Tagged , | Leave a comment

hive 安装记录

基本上按照这两个来,Hadoop集群之Hive安装配置,这个文章比较新,格式也比较规范 Hive安装及使用攻略,这个时效性没有那么好,但是说明的比较详细 Hive详细教程,这里给出了一些原理图 http://www.cnblogs.com/inuyasha1027/archive/2013/02/14/2911182.html,这个是一步一步来 ====================== 启动的时候报一个……

阅读全文

Posted in Tech | Tagged | Leave a comment

spark 操作 hbase

之前说到这个,spark 操作 mysql ========================= 买一送一,hbase 的: Spark读取Hbase中的数据 ====================== 关于操作 hbase,还有这两个文章,Spark 下操作 HBase(1.0.0 新 API),https://gist.github.com/wuchong/95630f80966d07d7453b 都是不错的,另外说一下,”org.apache.hbase̶……

阅读全文

Posted in Tech | Tagged , | Leave a comment

spark sql

http://spark.apache.org/docs/latest/sql-programming-guide.html 看这里好像可以把一个 csv 文件当做表来处理,那就好多了 =================== 2016-4-20 22:43:18 如果你 assembly 出来的 jar 连不上 jdbc,参考这里,http://stackoverflow.com/questions/30221677/spark-sql-postgresql-jdbc-classpath-issues I wa……

阅读全文

Posted in Tech | Tagged | Leave a comment

scala 上手

随着 spark 使用深入,越来越感觉用 java 是不行的了,社区里大家都用 scala 讨论,用 java 就像一个语言不通的人一样,换呗,先搭环境,再学语法,都不是什么难点,就是花时间,环境最是烦人,耗时耗力还不讨好,语法倒好,以我十八般武艺样样不精通的经验来说,就是个类似 js 的函数式,不难 先看环境问题,scala ecli……

阅读全文

Posted in Tech | Tagged , | Leave a comment

spark 操作 mysql

主要有两个思路,一个是旧的,spark 1.3 之前,自己动手丰衣足食,后来有了 spark sql,使用它的 dataframe,也是可以的 ================================= 旧的有: Spark与Mysql(JdbcRDD)整合开发 Spark将计算结果写入到Mysql中 这种 jdbc rdd 的,貌似是 scala 专属,Spark SQL: JdbcRDD ==========================……

阅读全文

Posted in Tech | Tagged | 1 Comment