ubuntu18.04安装hadoop的教程及安装过程遇到的问题解答

内容:
(1)JAVA jdk8.0环境安装与配置;
(2)SSH环境安装与配置;
(3)Hadoop伪分布式模式安装与配置。

1、增加一个名为 hadoop 的用户,设置密码,为 hadoop 用户增加管理员权限:
ubuntu18.04安装hadoop的教程及安装过程遇到的问题解答
2、用 hadoop 用户登录后,先更新apt:
ubuntu18.04安装hadoop的教程及安装过程遇到的问题解答
3、 安装vim:
ubuntu18.04安装hadoop的教程及安装过程遇到的问题解答
4、安装 SSH server:
ubuntu18.04安装hadoop的教程及安装过程遇到的问题解答
5、登陆本机:
ubuntu18.04安装hadoop的教程及安装过程遇到的问题解答
6、安装JDK:
ubuntu18.04安装hadoop的教程及安装过程遇到的问题解答
7、打开当前登录用户的环境变量配置文件.bashrc,让环境变量立即生效,检验,执行的两个命令一样,成功:
ubuntu18.04安装hadoop的教程及安装过程遇到的问题解答
8、安装hadoop2至 /usr/local/,解压,检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息:
ubuntu18.04安装hadoop的教程及安装过程遇到的问题解答
9、运行 grep 例子,将 input 文件夹中的所有文件作为输入,筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数,最后输出结果到 output 文件夹中:
ubuntu18.04安装hadoop的教程及安装过程遇到的问题解答
执行成功后如下所示,输出了作业的相关信息,输出的结果是符合正则的单词 dfsadmin 出现了1次:
ubuntu18.04安装hadoop的教程及安装过程遇到的问题解答
10、配置完成后,执行 NameNode 的格式化:
ubuntu18.04安装hadoop的教程及安装过程遇到的问题解答
ubuntu18.04安装hadoop的教程及安装过程遇到的问题解答
看到 “successfully formatted”:
ubuntu18.04安装hadoop的教程及安装过程遇到的问题解答
11、接着开启 NameNode 和 DataNode 守护进程,启动完成后,通过命令 jps 来判断已经成功启动:
ubuntu18.04安装hadoop的教程及安装过程遇到的问题解答
12、访问 Web 界面 http://localhost:9870, 查看NameNode 和 Datanode 信息:
ubuntu18.04安装hadoop的教程及安装过程遇到的问题解答
四、实验中遇到的问题和解决办法,实验总结
问题和解决办法:
1)更新apt时出现文件尺寸不符,看见它说使用的镜像正在同步中,于是我把电脑关机重启之后就可以成功更新apt了。
ubuntu18.04安装hadoop的教程及安装过程遇到的问题解答
2)我安装vim时出现无法获得锁…11:资源暂时不可用,和无法获取dpkg前端锁,有进程正在占用它,于是我百度了一下,然后用以下命令并且kill了我的810和837端口就可以了。
ubuntu18.04安装hadoop的教程及安装过程遇到的问题解答
3)我编辑core-site.xml文件时出现无法连接和拒绝连接的情况,这是一个低级错误,原因是因为我可能比较细心,编辑了core-site.xml文件也保存了之后没有关闭出现的错,之后明白了。
ubuntu18.04安装hadoop的教程及安装过程遇到的问题解答
4)我的localhost:50070端口打不开,由于提前安装了hadoop,无意识就安装了最新版本,查资料知道它的端口号变成了localhost:9870,然后打开了。
ubuntu18.04安装hadoop的教程及安装过程遇到的问题解答