简单使用hadoop

我们在前面搭建好hadoop后,接下来就要使用该hadoop了,但是在hadoop下面什么都没有,连根目录都没有,这都要我们来创建

  首先使用  

        hadoop  fs -mkdir -p /user/gscsd

简单使用hadoop

我们在这里使用-p是逐步创建,先创建根目录/,然后在创建user目录,user目录下又创建了gscsd目录

我们来查看下,看到以下这个就说明我们已经创建好目录了

简单使用hadoop

然后我们再接着上传个文件,这个data1.txt是在我当前这个目录下的,所以可以直接写文件名上传,上传时要写明上传到哪个目录下,它会有默认的路径,就是我们刚刚新建的那个,不过为了谨慎,最好写下上传路径

简单使用hadoop

我们来看下上传的文件

简单使用hadoop

我们在这里就可以看到我们上传的文件了,当然也可在网页中查看

我们在网页的路径中输入我们的主机名和我们设置好的端口,我这里是输 python2:50070,输入好后我们就来点击用箭头指向的地方

简单使用hadoop

选中第一个项目

简单使用hadoop

这里就会看到我们新建的目录,我们新建的是/user/gscsd,而且上传的文件也在该目录下,所以我们点击进入到这个目录中去

简单使用hadoop

进入到这个目录后,右下角是我们当前的目录,左上角是我们当前的路径

简单使用hadoop

点击进去gscsd目录后,就会看到我们上传的文件

简单使用hadoop

我们一般在shell下常用的hadoop命令:

       put : 将本地文件上传至hdfs

             列:hadoop fs -put data1.txt  路径

        ls : 查看hdfs上的信息

             列: hadoop fs -ls 路径

         mkdir: 在hdfs上创建目录

              列:hadoop fs -mkdir -p 目录名称 

                加-p是为了创建多级目录

           get: 将hdfs上的文件下载到本地

                 列:hadoop fs -get 文件 

                如果要下载到指定目录的话,那我们要在文件后面加个路径

还其它命令,我就不一一写了,刚兴趣的自己去百度