virtualbox + centos 的 gui 和 nat 问题

virtualbox 安装 centos6.5,需要安装多台,搭建一个测试用的集群,但是过程中发现一些问题,记录一下 一个是图形界面的问题,默认是安装了图形界面的,这个我们不需要,参考这里, https://superuser.com/question… ,在 /boot/grub/grub.conf 中加一个配置 # cat /boot/grub/grub.conf # grub.conf generated……

阅读全文

spark 写 gp/tpg 效率优化 —— 写入 237w 行数据耗时从 77 分钟到 34 秒

摘自内部分享,有删减。 具体到我们这次的场景中,我们用的是 gp,gp 全称是 greenplum,是一个 mpp 版本的 postgresql,可以参考这个简介 http://www.infoq.com/cn/news/2… ,协议上兼容 postgresql,我们可以用普通能连 postgresql 的方式去连 gp,并且把 gp 看成一个黑盒的集群版本的 postgresql 来使用 然后这……

阅读全文

scala 的强制类型转换

scala 中没有强制类型转换,也即是无法写出 (T)obj 的写法,所以需要绕一下,看到这里, https://stackoverflow.com/ques… ,提到可以这么来 var bar:Dog = foo.asInstanceOf[Dog] 原文是 Lets say I have the following code: abstract class Animal case class Dog(name:String) extends Animal var foo:An……

阅读全文

自行编译 saiku 的一些填坑记录

起因是说 jackson 的代码存在一个远程任意代码执行漏洞, http://bobao.360.cn/news/detai… ,而 saiku 又用到了 jackson,用的是 2.5.1 因此我们需要自行编译一个 saiku 的 pentaho 插件,把 jackson 的版本升上去 在此之前,我们用的是从 saiku 的官方下载回来的预编译好的 saiku-pentaho 插件,版本是 saiku-p……

阅读全文

spark 中的日志

在打包一个 spark streaming 工程到 yarn 上跑的时候,发现自己的 log4j.properties 没有被读取 SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] log4j: Trying to find [log4j.xml] using context class……

阅读全文