HEIC 文件格式

发现苹果用上了一个新的图片,叫 heic,压缩效果十分惊人,原以为在像素越来越高的今天,照片的存储肯定也是吃掉存储的大头,而且如果真的是这样,也怪不了谁,毕竟像素高了嘛,但是看到 heic 在高画质下的极小存储空间占用,还是很惊叹的 搜了一下,看到这里 https://www.zhihu.com/question… 作者:宫宸 链接:……

阅读全文

postgresql 死锁检查与处理

今天在 postgresql 上执行一个 DDL 的时候卡死,其实就是一个 alter table add column 的语句 那么,首先可以用这个 SQL 来看有哪些执行中的查询 select query, * from pg_stat_activity where query != '' order by query_start asc; 但是从这里有两个问题,一是只能看到自己名下的,别人的 SQL 看不到具体 query,……

阅读全文

几个 hadoop 生态下 SQL 引擎的区别

hive、spark SQL 这个太熟就不多说了,kylin 是基于预先算好存 hbase 来实现秒回的,属于抢跑型选手,这个也不展开对比 重点会看看这几个: Impala Drill Presto Druid HAWQ Phoniex 网络上看这些东西的时候基本都没个靠谱和详细的解释,还是得靠自己来拼 https://www.zhihu.com/question… 这个上面的一些答案算……

阅读全文

greenplum 集群启动失败

有一个 gp 集群,部分 seg 挂了,带伤跑了一阵子,执行过几次 gprecovery,又中断了 recovery 进程,最后发现 gprecovery 无法继续,总是会触发节点 down,然后继续作死,把之前备份的一份 datadir 的内容替换上去,再次重启 gp 集群,发现这下好了,彻底起不来,报错 20180705:21:19:47:021616 gpstart:10:gprds-[INF……

阅读全文

maven 编译强制使用本地库

今天在编译一个 maven 工程的时候发现一个问题,一个被依赖的包是自己的,在本地,但是 maven 总是试图去拉远程的 repo,例如这样 [ERROR] Failed to execute goal on project wxad.p2.stat: Could not resolve dependencies for project ....: Failed to collect dependencies at ...: Failed to read artifact descr……

阅读全文

分割文件行数

可以将一个大文件分割成小文件,每个指定行数 package com.example; import java.io.BufferedReader; import java.io.FileReader; import java.io.FileWriter; import java.io.IOException; public class SplitFile20180522 { public static void main(String[] args) throws IOException { ……

阅读全文

c++11 thread

关于 c++11 的线程库,我们有如下几个问题: 可否不传参数 可否传递多个参数 可否传递 const 参数 可否传递引用参数 可否传递 const 引用参数 std::thread 结构可否放入容器 std::thread 可否在类内部使用 针对以上问题,我们先来看一个标准的 c++11 线程库要怎么使用: #include <stdio.h> #include <thr……

阅读全文

kafka + spark streaming(1)

之前写过一个 kafka + spark streaming 的测试用例,但是当时没有记录下来,这部分的东西还是很重要的,需要找时间回头补上 看到这里有一个教程, http://colobu.com/2015/01/05/k… 写的挺不错 ——————- 2018-11-12 21:26:25 追加 终于来补上这个坑,一晃都快一年过去了,真的……

阅读全文