hadoop yarn hdfs 概念的理解

有几个说的不错的文章,看这里,https://www.ibm.com/developerw…,来自 ibm,从理论到例子,讲解了 yarn 的产生和变化 http://www.lai18.com/content/1…,对计算框架的历史演变有一个概述 http://www.cnblogs.com/LeftNot…,辅助理解 yarn 的一些产生背景 ================= http://www.cnblogs.com/……

阅读全文

Hadoop HBase 碎碎念

一些小笔记会持续追加到这里 2016-3-25 22:09:24 重启或添加节点: $bin/hadoop-daemon.sh start datanode ————————– 2016-3-25 22:09:31 Had the same problem with 2.6.0, and shamouda’s answer solved it (I was not using dfs.hosts at all so that ……

阅读全文

hadoop 2.5.2 集群安装

之前写过一个,http://zrj.me/archives/888,不过现在是 2.5.2,东西不同了,安装方式有所变化。 说起来,主要以下几点: 安装 JDK 打通 SSH 停掉防火墙 配置 core-site.xml, maprd-site.xml, hdfs-site.xml,新增了一个 yarn-site.xml 参考这里的文章,http://blog.csdn.net/tang9140/…,http://blog.csdn.net……

阅读全文

Hadoop 1.1.2 安装(集群版)

首先还是安装必须的 jdk,看到这里,http://os.51cto.com/art/201003… 终端下进入你存放jdk-6u12-linux-i586.bin,例如我的位置是:/home/liangshihong $ sudo -s ./jdk-6u12-linux-i586.bin 一路回车,直到询问是否安装,输入yes回车 ok,安装完毕,下面配置环境变量 配置classpath,修改所有用户的环境变量 $ sud……

阅读全文

Hadoop 1.1.2 安装(单机版)

操作的环境是阿里云的服务器,http://www.aliyun.com/,还不错,按时间收费,一个小时 0.28 块钱,操作系统是 Ubuntu 10.10 64 位,单核 CPU,内存 512 首先上来先修改主机名 hostname cluster-1 然后开始按照这里,http://hadoop.apache.org/docs/…,的教程安装 Hadoop 1.1.2 首先看到 Prerequisites,需要 j……

阅读全文