在前面的那篇文章中我已经介绍了安装在Ubuntu 系统中JDK,Hadoop。
下面我来进行配置Hadoop 系统。
1.首先在hadoop的conf文件夹下面找到core-site.xml文件:
添加如下配置至configuration标签之间:
<property> <name> fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name> dfs.replication</name> <value>1</value> </property> <property> <name> hadoop.tmp.dir</name> <value>/root/hadoop/tmp</value> </property>
2.然后在 mapred-site.xml的configuration中输入:
<property> <name> mapred.job.tracker</name> <value> localhost:9001</value> </property>
3.格式化namenode
bin/hadoop namenode -format
4.启动hadoop
bin/start-all.sh
5.检测是否运行正常
使用jps
也可以使用
bin/hadoop dfsadmin -report
6.访问文件系统
6.1 bin/hadoop dfs -mkdir test-in
创建hadoop文件系统test-in目录
6.2 bin/hadoop dfs -copyFromLocal /tmp/test*.txt test-in 解释一下,就是从本地文件/tmp/目录下,以test开发的文本文件拷贝到hadoop文件系统test-in目录下
6.3 显示该目录下的文件列表
bin/hadoop dfs -ls test-in
6.4查看文件内容
bin/hadoop dfs -cat test-in/test_file1.txt
7.跑一个单词统计的例子。
1. bin/hadoop jar hadoop-0.20.1-examples.jar wordcount test-in test-out
2.查看运行结果:
这些内容也就是文件系统目录test-in中文件内容