MySQL 响应缓慢

今天在 navicat 中发现 mysql 很卡,本着重启试试的原则,先重启试试,于是先 service mysql stop,但是发现停服务也停半天,看日志发现一个问题 2016-12-10 10:53:30 2411 [Note] InnoDB: Waiting for purge thread to be suspended 2016-12-10 10:54:30 2411 [Note] InnoDB: Waiting for purge thread to be suspen……

阅读全文

Posted in Tech | Leave a comment

spark on hive 模式导致读写 hdfs 失败

spark sql 操作 hive 表,底下的支撑其实还是 hdfs,之前的集群,hdfs 没有做 HA,倒也相安无事,不过最新 spark sql 的计算任务迁移到了一个新的集群,刚迁移过去的时候,计算任务是能够正常跑的,但是,后来这个集群上的 hdfs 做了 HA,问题就来了 Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.had……

阅读全文

Posted in Tech | Leave a comment

随感

在学校,在大公司,有着大纲和体制的保护,大部分事情,我们都能预先知道,会是怎么样,以及能够知道怎么去做,进而预先评估自己是否倾向和适合这么去做,然后做出决定 然而,离开这种循规蹈矩的组织,一旦到了一些小的组织和直面社会的时候,才会发现,很多事情,一来无法预估,二来事到临头,很多时候也没有什么思路能……

阅读全文

Posted in Tech | 1 Comment

目前的数据处理流程

算是分享一个套路 首先 csv 文件落下来,然后到 hive 贴源,做一些拉链,增量 就到模型层,做一些 spark sql 跑一跑,就到指标层,这个步骤可以自己写一些脚本,算出来的指标层双写一份到 mysql 然后就是对接应用 整个过程算是简洁明了,优点是实施成本低,缺点的话不支持流式

阅读全文

Posted in Life | Leave a comment

hive

hive 是一个什么垃圾玩意儿,真能作死啊 ————- 2016-8-21 09:44:53 补充说几个点吧 【1】hive 本身的依赖关系比较复杂,依赖问题可以搞死人,跟 spark 结合的时候还挑版本,文档也不好 【2】想要让 hvie on spark 的话,需要自行编译 spakr assembly,网上有些文章说 pre build 版本是带了 Phiv……

阅读全文

Posted in Tech | Leave a comment

javascript 取得当前 yyyymmdd

这里有一个答案,http://stackoverflow.com/questions/3066586/get-string-in-yyyymmdd-format-from-js-date-object Altered piece of code I often use: Date.prototype.yyyymmdd = function() { var mm = this.getMonth() + 1; // getMonth() is zero-based var dd = this.getDate(); return [this.getFullYear……

阅读全文

Posted in Tech | Tagged | Leave a comment

spark 读取 jdbc 的时候 where 过滤的问题

一般来说,我们使用这样的方式让 spark 去读取 jdbc DataFrame dataFrame = sqlContext.read().jdbc(jdbcUrl, tableName, DBConfigUtil.generateProperties()); 随之而来一个问题是,这样是读取整张表的,如果我们要读取某一部分的数据呢? 自然的想法是 sqlContext 的 read 接口应该有参数可以控制,可惜没有,走读……

阅读全文

Posted in Tech | Tagged | Leave a comment

搬家与离家

一 在北京的项目还不知道要呆多久,深圳的房租已经空着两个月,白白交钱不说,这阴雨天气,还发着霉,这样下去肯定受不了,趁着这次回深圳的端午,就把宝安的房间收拾掉了,东西搬回家,刚好房租的合同也到期。 本来想着东西没有多少的,爸妈闲着没事干,也说跟我一起过去收拾,结果去到才发现,枕头被子桌子椅子台式机音……

阅读全文

Posted in Life | 5 Comments

那些我们以为的城市

去过的地方慢慢在积攒。由于我有一个在百度地图上标注地点的习惯,当有一天我把地图的比例尺缩小的时候,才发现已经去过不少城市了。当然,有两个局限,一个是没有国外的,这个是因为穷。另外一个是大部分都是局限在城市,而没有到乡镇去。 不过,随之而来的,是想到了这样一个问题:那些我们所以为的城市的,和真实的城……

阅读全文

Posted in Life | Leave a comment

hadoop yarn hdfs 概念的理解

有几个说的不错的文章,看这里,https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/,来自 ibm,从理论到例子,讲解了 yarn 的产生和变化 http://www.lai18.com/content/1103036.html,对计算框架的历史演变有一个概述 http://www.cnblogs.com/LeftNotEasy/archive/2012/02/18/why-yarn.html,辅助理……

阅读全文

Posted in Tech | Tagged , | Leave a comment