1. 前言: 以前在window下部署hadoop项目,部署过程中出现不少问题,虽然基本上进行了排除解决,但总体上在windows上部署hadoop分布项目不象在linux下那么顺利.最后还是在linux下进行了部署. 2. 部署软硬件设备: 软件: 1.java执行环境jdk1.5+,jre1.5+ 2.hadoop软件,从http://lucene.apache.org/hadoop下载后通过ant对项目进行打包获取安装在各机器上的程序副本. 硬件: 三台机器 :一台实际的linux机器,另安装了两个linux虚拟机,总体为三台机器. 暂命名为: 10.0.0.1 10.0.0.2 10.0.0.3 3. 运行布局 在10.0.0.1上运行名称节点（NameNode）以及工作跟踪节点（JobTracker） 10.0.0.2以及10.0.0.3上运行数据节点(DataNode)以及任务执行节点(TaskTracker) 4 系统设置 4.1支撑环境设置JAVA 对JAVA_HOME,PATH,以及CLASSPATH进行设置 具体步骤如下: Vi /etc/profile 在文件中添加环境变量 Source /etc/profile 重新加载环境变量 4.2 在系统中设置ssh访问控制通过rsa 方式验证. SSH-keygen –t rsa 对产生的id_rsa.pub复制到authorized_keys中，然后把authorized_keys文件复制到 其他待访问机器的/user/home/.ssh下这样就建立了对于当前用户无密码访问其他机器的环境. 4.3 在各台及其上启动rsync服务。在启动过程中例如我们输入bin/start-all.sh这样在开始启动过程中待启动的机器会与当前及其进行同步.例如我们在10.0.0.1上启动在 屏幕上会看到 10.0.0.2 rsync from 10.0.0.1:/hadood目录 不配置的话在这里会出现错误. 4.4 slaves 设置 在部署目录下的conf中填写待启动的机器节点列表 例如10.0.0.2 10.0.0.3 通过以上部署直接在终端输入bin/start-all.sh 即可启动hadoop的分布文件系统以及分布计算系统环境。
