有几个说的不错的文章,看这里,https://www.ibm.com/developerw…,来自 ibm,从理论到例子,讲解了 yarn 的产生和变化
http://www.lai18.com/content/1…,对计算框架的历史演变有一个概述
http://www.cnblogs.com/LeftNot…,辅助理解 yarn 的一些产生背景
=================
http://www.cnblogs.com/…… 阅读全文
Tag Archives: Hadoop
Hadoop HBase 碎碎念
一些小笔记会持续追加到这里
2016-3-25 22:09:24
重启或添加节点:
$bin/hadoop-daemon.sh start datanode
————————–
2016-3-25 22:09:31
Had the same problem with 2.6.0, and shamouda’s answer solved it (I was not using dfs.hosts at all so that …… 阅读全文
hadoop 2.5.2 集群安装
之前写过一个,http://zrj.me/archives/888,不过现在是 2.5.2,东西不同了,安装方式有所变化。
说起来,主要以下几点:
安装 JDK
打通 SSH
停掉防火墙
配置 core-site.xml, maprd-site.xml, hdfs-site.xml,新增了一个 yarn-site.xml
参考这里的文章,http://blog.csdn.net/tang9140/…,http://blog.csdn.net…… 阅读全文
WordCount – Hadoop 的 HelloWorld
按照官方教程,http://hadoop.apache.org/docs/…,开始着手写一个 Hadoop 的 HelloWorld 程序,叫做 WordCount
首先准备好代码如下:
package org.myorg;
import java.io.IOException;
import java.util.*;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.*;
import org.apache.ha…… 阅读全文
Hadoop 1.1.2 安装(集群版)
首先还是安装必须的 jdk,看到这里,http://os.51cto.com/art/201003…
终端下进入你存放jdk-6u12-linux-i586.bin,例如我的位置是:/home/liangshihong
$ sudo -s ./jdk-6u12-linux-i586.bin
一路回车,直到询问是否安装,输入yes回车
ok,安装完毕,下面配置环境变量
配置classpath,修改所有用户的环境变量
$ sud…… 阅读全文
Hadoop 1.1.2 安装(单机版)
操作的环境是阿里云的服务器,http://www.aliyun.com/,还不错,按时间收费,一个小时 0.28 块钱,操作系统是 Ubuntu 10.10 64 位,单核 CPU,内存 512
首先上来先修改主机名
hostname cluster-1
然后开始按照这里,http://hadoop.apache.org/docs/…,的教程安装 Hadoop 1.1.2
首先看到 Prerequisites,需要 j…… 阅读全文