大数据之配置（hadoop的环境配置）

大数据之配置（hadoop的环境配置一）

hadoop的配置：java环境配置，hadoop集群配置，ssh免密配置

1.ssh免密配置

什么是ssh？

简单说，SSH是一种网络协议，用于计算机之间的加密登录。如果一个用户从本地计算机，使用SSH协议登录另一台远程计算机，我们就可以认为，这种登录是安全的，即使被中途截获，密码也不会泄露。最早的时候，互联网通信都是明文通信，一旦被截获，内容就暴露无疑。1995年，芬兰学者Tatu Ylonen设计了SSH协议，将登录信息全部加密，成为互联网安全的一个基本解决方案，迅速在全世界获得推广，目前已经成为Linux系统的标准配置。SSH只是一种协议，存在多种实现，既有商业实现，也有开源实现。本文针对的实现是OpenSSH，它是*软件，应用非常广泛。

ssh安装
（注意：在linux系统中，安装软件，一般都是解压，有的使用yum安装（使用yum安装默认配置环境，关键看你能不能找到），配置环境，测试，三步曲）

安装ssh
yum install ssh
启动SSH：
service sshd start
设置开机运行：
chkconfig sshd on
ssh配置
1、修改vi /etc/ssh/sshd_config，根据模板将要修改的参数注释去掉并修改参数值：
Port 22 指定SSH连接的端口号，安全方面不建议使用默认22端口Protocol 2,1 允许SSH1和SSH2连接，建议设置成 Protocal 2其他参数根据自己的需要进行调整。配置方法详见： man ssh_config
2、修改hosts.deny 在最后面添加一行：
sshd:All
3、修改hosts.allow 在最后面添加一行：
sshd:All
如果为了安装可以限制访问的IP，设置如下：
sshd:192.168.0.101
sshd:192.168.0.102
上述配置表示只允许101和102的服务器进行SSH连接
4、启动SSH
/etc/init.d/sshd start
至此SSH已经可以连接了
输入连接IP

查看ssh是否安装成功
在终端输入ssh 看看是否有ssh的信息



免密配置ssh

在linux中使用ssh-******来产生ssh的秘钥，一般会产生2把，一把公钥，一把私钥
生成秘钥命令
ssh-****** -t rsa
一直回车就可以了，不用配置其他

生成上面图的内容时候，会在根目录下生成一个。ssh文件，如图

切换到.ssh文件中会看到2个文件
其中的id_rsa 是私钥， id_rsa.pub是公钥 一般authorized_keys是不存在的需要自己创建，并且要变换.ssh文件下的文件权限，公钥才会生效
如果希望ssh公钥生效需满足至少下面两个条件：
　　　　　　1) .ssh目录的权限必须是700
　　　　　　2) .ssh/authorized_keys文件权限必须是600

当我们需要把ssh授权给那台机器，就将id_rsa.pub中的内容复制给目标机的authorized_keys中。

完成以上配置以后，当有几台机器可以互相访问时，需要把公钥配置在.ssh的authorized_keys中，而且几台机器的authorized_keys都相同，这样在不同的终端可以相互切换

楼主使用的是2台机器，相互访问，分别是master和node3
注意看终端用户的变化

2.JDK的配置
在学习jdk的配置之前，让我们熟悉一下，rz，sz命令
这是一个让虚拟机和主机进行文件共享的命令，要想使用sz或者rz命令前，必须要安装lrzsz的命令
yum install lrzsz
2个命令需要在xshell中或者其他类似的软件中使用会有很好的效果
安装lrzsz之后，在xshell的终端输入rz，就会跳出如下文件选择框

由于我在上传文件时候已经下载好了安装包，所以你们看到的会有2个压缩包，上传完成以后，默认在根目录下，如图

当文件已经上传到虚拟机上以后，根据需要创一个文件夹，把文件解压目标文件中，所以需要注意一点，在linux中安装文件，一般解压以后，就和win一样了，不需要安装
楼主创建了一个，my_app文件，作为日常安装文件的主目录，然后把文件解压到这个地方，
解压以后文件就看到默认生成一个jdk1.8.0_201的文件夹，注意这个时候和windows中安装的路径下的内容是差不多的，所以linux安装应用，只要解压就可以了。

再来就是jdk环境配置了在根目录中的etc文件中下的profile文件中配置环境
vi /etc/profile
在文件末尾追加如图内容，根据你解压的目录

配置完成更新一下配置文件 使用命令 . /etc/profile
在根下输入jps看看出来信息不，如果出来信息，则说明配置成功

3.安装hadoop
使用rz上传hadoop合适的版本，解压到目标文件中，

下面就是配置文件

在终端输入命令hadoop命令，如图

配置成功
在进行二次配置，

把里面java_home换成绝对路径就可以了

hadoop安装成功
hadoop集群搭建有三种模式，在下一篇里面详细讲解hadoop的三种搭建方式，欢迎指正。