Question

如何配置Hadoop环境

Answer 1

用于测试，我用4台虚拟机搭建成了hadoop结构

我用了两个台式机。一个xp系统，一个win7系统。每台电脑装两个虚拟机，要不然内存就满了。
1、安装虚拟机环境
Vmware，收费产品，占内存较大。
或
Oracle的VirtualBox，开源产品，占内存较小，但安装ubuntu过程中，重启会出错。
我选Vmware。
2、安装操作系统
Centos，红帽开源版，接近于生产环境。
Ubuntu，操作简单，方便，界面友好。
我选Ubuntu12.10.X 32位
3、安装一些常用的软件
在每台linux虚拟机上，安装：vim，ssh
sudo apt-get install vim
sudo apt-get install ssh
在客户端，也就是win7上，安装SecureCRT，Winscp或putty，这几个程序，都是依靠ssh服务来操作的，所以前提必须安装ssh服务。
service ssh status 查看ssh状态。如果关闭使用service ssh start开启服务。
SecureCRT，可以通过ssh远程访问linux虚拟机。
winSCP或putty，可以从win7向linux上传文件。
4、修改主机名和网络配置
主机名分别为：master，host2，host3，host4。
sudo vim /etc/hostname
网络配置，包括ip地址，子网掩码，DNS服务器。如上图所示。
5、修改/etc/hosts文件。
修改每台电脑的hosts文件。
hosts文件和windows上的功能是一样的。存储主机名和ip地址的映射。
在每台linux上，sudo vim /etc/hosts 编写hosts文件。将主机名和ip地址的映射填写进去。编辑完后，结果如下：

6、配置ssh，实现无密码登陆
无密码登陆，效果也就是在master上，通过 ssh host2 或 ssh host3 或 ssh host