centos搭建单机版hadoop服务器
一、装JDK
1.为了 方便,可以通过 yum 安装 JDK,指令如下:
sudo yum install java-1.8.1-openjdk java-1.8.1-openjdk-devel (默认安装位置为 /usr/lib/jvm/java1.8.1-openjdk)
2.配置一下 JAVA_HOME 环境变量,执行指令:vim ~/.bashrc
3.在文件bashrc的最后面添加一行代码,如下:
export JAVA_HOME=/usr/lib/jvm/java-1.8.1-openjdk
添加完之后,:wq保存退出
4.让环境变量生效: source ~/.bashrc
5.检测是否设置成功:java –version(出现版本信息就算成功)
二、新建hadoop用户
1.su root #以root账号登录并创建接下来的hadoop新用户
2.通过useradd增加用户:
useradd -m hadoop -s /bin/bash # 创建新用户Hadoop
3.给hadoop新用户设置登录密码:
passwd hadoop
4.为hadoop增加管理员权限(即拥有和root一样的权限),执行指令:visudo
找到root ALL= (ALL) ALL这一行(一般在99行附近),然后在这一行下面增加下面指令:
hadoop ALL= (ALL) ALL
添加之后,保存退出。然后通过指令:su hadoop,切换到hadoop用户
三、配置SSH无密码登录
1.首先检查自己服务器 上是否已经安装好SSH client、SSH serve,指令:
rpm -qa | grep ssh
执行后出现以下画面,则不需要安装:
若需要安装,则可以通过 yum 进行安装
如下图,我这里是缺少第一个,所以我装第一个
sudo yum install openssh-askpass
安装完之后,执行如下命令测试一下 SSH 是否可用: ssh localhost
此时会有如下提示(SSH首次登陆提示),输入 yes 。然后按提示输入 hadoop用户的登录密码,这样就实现登录到本机了。
但是上述的登陆是需要每次输入密码的,我们可以配置成SSH无密码登陆,这样会比较方便。
2.SSH无密登录
执行exit,回到原先的终端命令窗口
执行exit,退出刚才的 ssh localhost
• cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost
• ssh-****** -t rsa # 会有提示,都按回车就可以
• cat id_rsa.pub >> authorized_keys # 加入授权
• chmod 600 ./authorized_keys # 修改文件权限
四、现在开始安装hadoop单机版
1.我这里用的是hadoop-2.6.5,下载地址:
https://pan.baidu.com/s/1KfeEMVJxhQk73837OO8Czw
提取码:uwt8
2.把他解压到 /usr/local/ 目录下(我这里是通过winscp上传到 /usr/local/ 目录了,所以我直接解压)
tar –zxf hadoop-2.6.5
3.sudo mv ./hadoop-2.6.5/ ./hadoop # 将文件夹名改为hadoop
4.sudo chown -R hadoop:hadoop ./hadoop # 修改文件权限
5.Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息:
cd /usr/local/hadoop #进入到hadoop目录下
./bin/hadoop version
6.若已经成功安装hadoop,接下来进行单机版配置(非分布式)。 Hadoop 默认模式为非分布式模式,不需要进行其他任何配置即可运行。 运行以下指令:
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduceexamples-2.6.0.jar
可以看到所有例子,包括 wordcount、terasort、join、grep 等。
7.我们选择运行一个 grep 例子(查找),将 input 文件夹中的所有文件 作为输入,筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数, 最后输出结果到 output 文件夹中。运行如下指令:
• cd /usr/local/hadoop
• mkdir ./input
• cp ./etc/hadoop/*.xml ./input # 将配置文件作为输入文件
•./bin/hadoop jar ./share/hadoop/mapreduce/hadoopmapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
• cat ./output/* # 查看运行结果
到这里,hadoop单机版就算搭建成功了!