我们 spark 的计算任务是用 scala 来写的，maven 编译，但是随着 scala 源文件的数量越来越多，（现在一个 project 已经 800+ 源文件了），编译速度成为了一个很大瓶颈，编译一次都要 10+ 分钟，大大影响了开发效率
首先想到的是，排除掉一些与自己计算任务无关的代码，看看能不能加速，从这里看到 https://stackoverflo…… 阅读全文
提升 maven 编译 scala 的速度
1
Tag Archives: Scala
spark word count 和 streaming 的例子
package me.zrj.test.test20170731
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import java.util.Properties
import org.apache.log4j.PropertyConfigurator
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.Seconds
object SparkWo…… 阅读全文
scala 多字符替换效率
来看这三种不同的写法
object strreplace {
def main(args: Array[String]): Unit = {
val loop = 50000000;
{
val start = System.currentTimeMillis()
for (i <- 0 to loop) {
val a = ("123456".replace("2", "00").replace("3", …… 阅读全文
scala 的强制类型转换
scala 中没有强制类型转换，也即是无法写出 (T)obj 的写法，所以需要绕一下，看到这里， https://stackoverflow.com/ques… ，提到可以这么来
var bar:Dog = foo.asInstanceOf[Dog]
原文是
Lets say I have the following code:
abstract class Animal
case class Dog(name:String) extends Animal
var foo:An…… 阅读全文
scala 上手
随着 spark 使用深入，越来越感觉用 java 是不行的了，社区里大家都用 scala 讨论，用 java 就像一个语言不通的人一样，换呗，先搭环境，再学语法，都不是什么难点，就是花时间，环境最是烦人，耗时耗力还不讨好，语法倒好，以我十八般武艺样样不精通的经验来说，就是个类似 js 的函数式，不难
先看环境问题，scala ecli…… 阅读全文
scala 初窥
今天跟人闲聊，聊到 scala，想着没学过，上网搜了搜，遇到这个，做的很不错，记下来备忘，有空多看看，增长一下视野
http://zh.scala-tour.com/#/wel…
另外，这个页面用的框架叫 impress.js，这个之前想找过来着，没想起名字，顺道记录一下
https://github.com/bartaz/impr…
阅读全文