hadoop单机模式和伪分布式模式安装过程

    技术2022-05-19  19

    login as root

    #cd ~ #wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz #mkdir /opt/hadoop #cd /opt/hadoop #mv /root/hadoop-0.20.2.tar.gz . #tar xzvf hadoop-0.20.2.tar.gz #cd hadoop-0.20.2

    #vi conf/hadoop-env.sh 加入 export JAVA_HOME=/usr/java/jdk1.6.0_14 1、单机模式的操作方法 # mkdir input # cp conf/*.xml input # bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' # cat output/* 2、伪分布式模式的操作方法 1)conf/Core-site.xml代码 <configuration>     <property>           <name>fs.default.name</name>           <value>hdfs://localhost:9000</value>     </property>   </configuration> 

    2)conf/hdfs-site.xml代码 <configuration>      <property>             <name>dfs.replication</name>         <value>1</value>      </property> </configuration> 3)conf/mapred-site.xml代码 <configuration>       <property>            <name>mapred.job.tracker</name>        <value>localhost:9001</value>       </property> </configuration> 4)确认能否不输入口令就用ssh登录localhost: #ssh localhost 如果不输入口令就无法用ssh登陆localhost,执行下面的命令: #ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa #cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

    5)格式化一个新的分布式文件系统: #bin/hadoop namenode -format 6)启动Hadoop守护进程: #bin/start-all.sh 7)将输入文件拷贝到分布式文件系统: #bin/hadoop fs -put conf input 8)运行发行版提供的示例程序: #bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

    9)查看输出文件: 将输出文件从分布式文件系统拷贝到本地文件系统查看: #bin/hadoop fs -get output output #cat output/* 或者 在分布式文件系统上查看输出文件: #bin/hadoop fs -cat output/* 10)完成全部操作后,停止守护进程: #bin/stop-all.sh 

    参考文档 > http://hadoop.apache.org/common/docs/r0.18.2/cn/quickstart.html#Local

    本文来自博客,转载请标明出处:http://blog.csdn.net/teamlet/archive/2010/08/06/5793383.aspx


    最新回复(0)