在Ubuntu linux系统中安装Hadoop系统(一):单结点

    技术2022-05-18  14

    在前面的那篇文章中我已经介绍了安装在Ubuntu 系统中JDK,Hadoop。

    下面我来进行配置Hadoop 系统。

    1.首先在hadoop的conf文件夹下面找到core-site.xml文件:

    添加如下配置至configuration标签之间:

      <property>             <name> fs.default.name</name>             <value>hdfs://localhost:9000</value>      </property>      <property>          <name> dfs.replication</name>          <value>1</value>     </property>     <property>          <name> hadoop.tmp.dir</name>          <value>/root/hadoop/tmp</value>     </property>

     

     

    2.然后在 mapred-site.xml的configuration中输入:

        <property>         <name> mapred.job.tracker</name>         <value> localhost:9001</value>    </property>

     

    3.格式化namenode

    bin/hadoop namenode -format

     

     

    4.启动hadoop

     bin/start-all.sh

     

     

     

    5.检测是否运行正常

    使用jps

     

    也可以使用

    bin/hadoop dfsadmin -report

     

    6.访问文件系统

     

     6.1 bin/hadoop dfs -mkdir test-in

     创建hadoop文件系统test-in目录

     

    6.2 bin/hadoop dfs -copyFromLocal /tmp/test*.txt test-in 解释一下,就是从本地文件/tmp/目录下,以test开发的文本文件拷贝到hadoop文件系统test-in目录下

     

    6.3 显示该目录下的文件列表

     bin/hadoop dfs -ls test-in

     

    6.4查看文件内容

    bin/hadoop dfs -cat test-in/test_file1.txt

     

    7.跑一个单词统计的例子。

    1.   bin/hadoop jar hadoop-0.20.1-examples.jar wordcount test-in test-out

     

    2.查看运行结果:

     

     

    这些内容也就是文件系统目录test-in中文件内容

     

     

     

     

     


    最新回复(0)