login as root
#cd ~ #wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz #mkdir /opt/hadoop #cd /opt/hadoop #mv /root/hadoop-0.20.2.tar.gz . #tar xzvf hadoop-0.20.2.tar.gz #cd hadoop-0.20.2
#vi conf/hadoop-env.sh 加入 export JAVA_HOME=/usr/java/jdk1.6.0_14 1、单机模式的操作方法 # mkdir input # cp conf/*.xml input # bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' # cat output/* 2、伪分布式模式的操作方法 1)conf/Core-site.xml代码 <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
2)conf/hdfs-site.xml代码 <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> 3)conf/mapred-site.xml代码 <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration> 4)确认能否不输入口令就用ssh登录localhost: #ssh localhost 如果不输入口令就无法用ssh登陆localhost,执行下面的命令: #ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa #cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
5)格式化一个新的分布式文件系统: #bin/hadoop namenode -format 6)启动Hadoop守护进程: #bin/start-all.sh 7)将输入文件拷贝到分布式文件系统: #bin/hadoop fs -put conf input 8)运行发行版提供的示例程序: #bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
9)查看输出文件: 将输出文件从分布式文件系统拷贝到本地文件系统查看: #bin/hadoop fs -get output output #cat output/* 或者 在分布式文件系统上查看输出文件: #bin/hadoop fs -cat output/* 10)完成全部操作后,停止守护进程: #bin/stop-all.sh
参考文档 > http://hadoop.apache.org/common/docs/r0.18.2/cn/quickstart.html#Local
本文来自博客,转载请标明出处:http://blog.csdn.net/teamlet/archive/2010/08/06/5793383.aspx