spark 读取 jdbc 的时候 where 过滤的问题

一般来说,我们使用这样的方式让 spark 去读取 jdbc DataFrame dataFrame = sqlContext.read().jdbc(jdbcUrl, tableName, DBConfigUtil.generateProperties()); 随之而来一个问题是,这样是读取整张表的,如果我们要读取某一部分的数据呢? 自然的想法是 sqlContext 的 read 接口应该有参数可以控制,可惜没有,走读……

阅读全文

搬家与离家

一 在北京的项目还不知道要呆多久,深圳的房租已经空着两个月,白白交钱不说,这阴雨天气,还发着霉,这样下去肯定受不了,趁着这次回深圳的端午,就把宝安的房间收拾掉了,东西搬回家,刚好房租的合同也到期。 本来想着东西没有多少的,爸妈闲着没事干,也说跟我一起过去收拾,结果去到才发现,枕头被子桌子椅子台式机音……

阅读全文