scala 的强制类型转换

scala 中没有强制类型转换,也即是无法写出 (T)obj 的写法,所以需要绕一下,看到这里, https://stackoverflow.com/ques… ,提到可以这么来 var bar:Dog = foo.asInstanceOf[Dog] 原文是 Lets say I have the following code: abstract class Animal case class Dog(name:String) extends Animal var foo:An……

阅读全文

自行编译 saiku 的一些填坑记录

起因是说 jackson 的代码存在一个远程任意代码执行漏洞, http://bobao.360.cn/news/detai… ,而 saiku 又用到了 jackson,用的是 2.5.1 因此我们需要自行编译一个 saiku 的 pentaho 插件,把 jackson 的版本升上去 在此之前,我们用的是从 saiku 的官方下载回来的预编译好的 saiku-pentaho 插件,版本是 saiku-p……

阅读全文

spark 中的日志

在打包一个 spark streaming 工程到 yarn 上跑的时候,发现自己的 log4j.properties 没有被读取 SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] log4j: Trying to find [log4j.xml] using context class……

阅读全文

kafka 发送消息卡顿 60s

今天遇到这么一个问题, http://stackoverflow.com/quest… 跟这位哥们的问题一模一样,Kafka 在 producer 调用 send 发送数据的时候卡住一分钟,精确的一分钟,然后函数返回,没有抛出异常 我比原题中的案例还肯定这一点的原因是我在 send 的前后分别打了日志 在这里, http://blog.chinaunix.net/xmlr… 看到……

阅读全文

chrome 无法安装

前两天为了剪辑一个视频,下载了各种乱七八糟的剪辑软件,被带上的了各种全家桶,把 chrome 的首页劫持了,拿 360 硬碰硬,结果搞得 chrome 本身崩溃了,所有插件全部失效,没办法,打算卸载了重装。但是卸载完了之后,发现死活装不上。 chrome 的安装程序本身很装逼,啥界面都么有,就是一双击,完了一会就给你把 chrom……

阅读全文

hive 分区的使用

使用分层指标的好处自然是体系化,预计算等等,但是软肋也很明显,跑一次数据太耗时了,而如果 SQL 逻辑设计的不够严密,随便瞎搞,那么痛苦就是一个无底深渊了 hive 的分区有自动分区和手工分区两种,从功能上看,自然是自动分区强大,但是,一来他的自动分区没有默认启用,想要启动还有一堆的参数要配,感觉也并不够成……

阅读全文