今天在 postgresql 上执行一个 DDL 的时候卡死，其实就是一个 alter table add column 的语句
那么，首先可以用这个 SQL 来看有哪些执行中的查询
select query, * from pg_stat_activity where query != '' order by query_start asc;
但是从这里有两个问题，一是只能看到自己名下的，别人的 SQL 看不到具体 query，…… 阅读全文
hive、spark SQL 这个太熟就不多说了，kylin 是基于预先算好存 hbase 来实现秒回的，属于抢跑型选手，这个也不展开对比
重点会看看这几个：
Impala
Drill
Presto
Druid
HAWQ
Phoniex
网络上看这些东西的时候基本都没个靠谱和详细的解释，还是得靠自己来拼
https://www.zhihu.com/question… 这个上面的一些答案算…… 阅读全文
有一个 gp 集群，部分 seg 挂了，带伤跑了一阵子，执行过几次 gprecovery，又中断了 recovery 进程，最后发现 gprecovery 无法继续，总是会触发节点 down，然后继续作死，把之前备份的一份 datadir 的内容替换上去，再次重启 gp 集群，发现这下好了，彻底起不来，报错
20180705:21:19:47:021616 gpstart:10:gprds-[INF…… 阅读全文
package me.zrj.test.test20170731
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import java.util.Properties
import org.apache.log4j.PropertyConfigurator
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.Seconds
object SparkWo…… 阅读全文
今天在编译一个 maven 工程的时候发现一个问题，一个被依赖的包是自己的，在本地，但是 maven 总是试图去拉远程的 repo，例如这样
[ERROR] Failed to execute goal on project wxad.p2.stat: Could not resolve dependencies for project ....: Failed to collect dependencies at ...: Failed to read artifact descr…… 阅读全文
可以将一个大文件分割成小文件，每个指定行数
package com.example;
import java.io.BufferedReader;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
public class SplitFile20180522 {
public static void main(String[] args) throws IOException {
…… 阅读全文
分享一个统计 postgresql 表大小的 sql
with table_size_in_bytes as (
select table_schema
, table_name
, pg_size_pretty(pg_total_relation_size(table_schema||'.'||table_name)::bigint)
as size_in_humanreadable
, pg_total_relation_size(table_schema||'.'||table_name) as s…… 阅读全文
关于 c++11 的线程库，我们有如下几个问题：
可否不传参数
可否传递多个参数
可否传递 const 参数
可否传递引用参数
可否传递 const 引用参数
std::thread 结构可否放入容器
std::thread 可否在类内部使用
针对以上问题，我们先来看一个标准的 c++11 线程库要怎么使用：
#include <stdio.h>
#include <thr…… 阅读全文
之前写过一个 kafka + spark streaming 的测试用例，但是当时没有记录下来，这部分的东西还是很重要的，需要找时间回头补上
看到这里有一个教程， http://colobu.com/2015/01/05/k… 写的挺不错
——————-
2018-11-12 21:26:25 追加
终于来补上这个坑，一晃都快一年过去了，真的…… 阅读全文
参考 http://www.importnew.com/19011… 照猫画虎试用了 java 的线程池
package me.zrj.test.test20170607;
import java.util.Date;
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;
class MyTask implements…… 阅读全文