Hadoop配置伪分布式

Hadoop配置伪分布式

 

Hadoop海量数据存储，需要分布式存储，

Namenode:名称节点（NN），存放文件目录和路径，重要节点。有备份辅助节点

DataNode：数据节点（DN），存放数据，有副本

 

HDFS:分布式文件系统。

MapReduce:在分布式文件系统之上进行运算，海量数据并发运算，yarn他就是一个框架

 

1处是独立模式

2处是伪分布式模式

3处是完全分布式模式

 

①、如何配置伪分布式模式

首先进入找到hadoop文件，复制一份：

 

然后进入到备份后的hadoop-pseudo文件夹里，编辑后卫-site.xml的文件：

※  编辑这三个

Core-site.xml核心文件：

 

<configuration>

<property>

 

<name>fs.defaultFS</name>

<value>hdfs://localhost/</value>

 

</property>

</configuration>

Hdfs-site.xml:文件系统

<configuration>

<property>

 

<name>dfs.replication</name>

<value>1</value>

 

</property>

</configuration>

Yarn-site.xml:框架

<configuration>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>localhost</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

第四个文件，mapred-site.xml

复制mapred-site.xml.template复制后改名为mapred-site.xml，然后再gedit编辑，保存关闭：

然后查看是否有ssh（安全访问技术），由图可看出已经存在有了：

这个ssh完全不行的，我们还是要安装服务器版

查询一下，然后再进行安装：

安装后查看会生成一个ssh-******文件**分为公钥public key和私钥private key

然后我们可以自己生成一个**：

然后我们可以查看有一个隐藏的.shh文件，然后cd进入.shh

然后把公钥放入授权认证的文件里：

可以ssh试着登陆：

可查看感知到了一个主机known_hosts

可以退出：

如果再登陆的话就不提示要密码了：

然后我们可以对文件系统进行格式化，namenode就是放目录的节点：

然后我们可以启动文件系统：

再启动yarn（Hadoop资源管理器）：

然后我们可以看一下进程jps：

可以-l查看详细信息：

然后我们可以打开火狐浏览器输入localhost:50070或localhost:9870查看名称节点：

或者输入localhost:8088查看资源管理器：

不用可以停止yarn和dfs：

关闭后为了方便创建目录和显示目录

还要重新启动起来

有一个指令统一启动dfs和yarn，就是all

为hadoop设置统一配置环境变量指定配置目录：

没设置之前，都是显示其他用户的：

然后可以在hadoop下创建文件夹了：

设置之后就可查看只有自己创建的了：