spark 写 gp/tpg 效率优化 —— 写入 237w 行数据耗时从 77 分钟到 34 秒

摘自内部分享,有删减。 具体到我们这次的场景中,我们用的是 gp,gp 全称是 greenplum,是一个 mpp 版本的 postgresql,可以参考这个简介 http://www.infoq.com/cn/news/2… ,协议上兼容 postgresql,我们可以用普通能连 postgresql 的方式去连 gp,并且把 gp 看成一个黑盒的集群版本的 postgresql 来使用 然后这……

阅读全文

scala 的强制类型转换

scala 中没有强制类型转换,也即是无法写出 (T)obj 的写法,所以需要绕一下,看到这里, https://stackoverflow.com/ques… ,提到可以这么来 var bar:Dog = foo.asInstanceOf[Dog] 原文是 Lets say I have the following code: abstract class Animal case class Dog(name:String) extends Animal var foo:An……

阅读全文