hadoop伪分布式配置
书接上文 linux安装hadoop
进入hadoop安装目录,将配置文件复制出一份用于修改,下图中hadoop_pseudo就是复制出来的配置目录
进入到新复制的hadoop_pseudo目录中
1、修改core-site.xml
2、修改hdfs-site.xml
3、修改yarn-site.xml
4、修改mapred-site.xml
到此为止配置文件就改完了
接下来我们要配置ssh免密码登录
执行命令:ssh-****** -t rsa -P '' -f ~/.ssh/id_rsa
我们在~/.ssh目录下生成了公钥和私钥,然后执行cat id_rsa.pub >> authorized_keys,目录下就多了一个authorized_keys
配置完成后执行 ssh localhost 校验免密码登录是否设置成功
卡到这个样子就是免密登录配置成功率了
接下来我们执行格式化命令:hadoop namenode -format,这个地方只要没有报错就是执行成功了,如果不放心可以到dfs中看下对应的name、data目录是否被创建出来。我没有指定数据存放路径,默认给我搞到 /tmp/hadoop-root/dfs/ 目录下,可以看到三个节点对应的文件夹已经创建好了
启动hdfs,执行命令:start-dfs.sh
启动yarn,执行命令:start-yarn.sh
这样hadoop就算启动起来了,我们用jps命令看一下java进程,看到下面这几个进程都启动了,基本就成功了
在看下管理页面,访问${ip}/50070
在看下管理页面,访问${ip}/8088
两个页面都看到了,hadoop伪分布式就部署成功了
对了我们可以试一下hadoop fs -ls / 这个命令了,执行后看到的是空
在分布式文件系统下,我们可以使用类似linux的文件操作,比如hadoop fs -mkdir /licheng 创建一个文件,再次执行 hadoop fs -ls / 查看,好像不一样了哦
剩下的命令自己试试吧
对了,关闭hdfs&yarn要使用对应的stop命令:
stop-yarn.sh
stop-dfs.sh