Hadoop 安装与环境搭建——遇到的问题及解决方法总结

Hadoop 安装与环境搭建——遇到的问题及解决方法总结

一、 使用VMware安装Linux

1. 安装VMware以及Linux
2. Linux联网

两种方法：

NAT（稍复杂）：不会
桥接（简单）：虚拟机设置-->网络适配器—>选择桥接模式
 
然后在Linux中手动设置IP地址：也是两种方法：命令行，可视化桌面。
设置时，记得IP要和Windows本地网段相同，网关一般为192.168.xxx.1/2
注：ifconfig查看网络设置。
    设置完成需要开启网络。
    如果依然无法访问网络，请将DNS设置为与网关相同。
    如果依然无法访问网络，请将防火墙关闭。
systemctl stop firewalld.service 关闭防火墙。
Systemctl disable firewalld.service 禁止开机自起防火墙。

二、 安装jdk以及hadoop

1. 下载jdk以及hadoop

注：redhat、centos和ubuntu有一点点区别。如果发现问题，请注意。

2. 解压安装jdk 配置环境变量

注：如果在网上发现两种命令语句，一种是对本用户有效，一种是全用户的。

修改完成必须使文件生效：[[email protected] etc]# source profile

3. 解压安装hadoop配置环境变量
4. 更改hadoop配置文件
5. 启动hadoop服务

注：在bin或者sbin目录下有很多.sh脚本。

可以sh start-all.sh全部启动。
也可以按照顺序一个一个启动。

jps查看状态。

三、 运行WordCount

1. 准备：file1，file2，...，WordCount.java

注：WordCount代码中主函数体现参数args[0],args[1]等请注意。

2. 生成jar

注：使用eclipse生成jar时，可以选择设置主类。

3. 将file1，file2,...上传到hdfs

注：首先在hdfs上建立input文件夹：

hadoop fs –mkdir /input
hdfs dfs    –mkdir  input
将文件上传hadoop fs –put file1 /input
有时hadoop版本不同，可以要求使用绝对路径，即/input或/aaa/bbb/ccc

4. 运行程序

注：hadoop jar WordCount.jar WordCount /input /output

            程序            主类名    参数    参数

程序可以不放在hdfs上，但要注意文件路径。
如果生成jar时，设置主类，这里一定不要写，否则会把WordCount当成第一个参数。
参数在源代码主函数中有体现，在本程序中，第一个参数为输入文件路径，第二个参数为输出文件路径。
在hdfs上不要创建output文件夹（路径）。再次运行之前，请删除此文件夹（路径）