hadoop
一、环境
1、centos
2、JDK
3、hadoop
二、单机版
1、下载hadoop,地址http://120.203.214.5/8c2/71233/8c262c70bcd6098df871f293e2f9337d3f571233/hadoop-2.7.3.tar.gz?n=hadoop-2.7.3.tar.gz
2、tar -zxf hadoop-2.7.3.tar.gz,解压
3、配置hadoop的环境变量,vim /etc/profile
4、复制hadoop-2.7.3/etc/hadoop为hadoop-2.7.3/etc/hadoop_conf。进入hadoop_conf,修改hadoop-env.sh和yarn-env.sh
hadoop-env.sh
yarn-env.sh
5、输入hadoop version显示版本信息
6、输入hadoop namenode -format格式化,再输入hadoop fs -ls /会显示根目录信息
三、伪分布式
1、单机、伪分布式、完全分布式一些属性的配置表
2、在hadoop-2.7.3下mkdir -p tmp dfs/name dfs/data,然后分别修改hadoop_conf下的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml,将以下对应xml的代码拷贝到相应的xml文件中
<?xml version="1.0"?> <!-- core-site.xml --> <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost/</value> </property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.7.3/tmp</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/usr/loal/hadoop-2.7.3/dfs/name</value>
</property>
</configuration> <?xml version="1.0"?> <!-- hdfs-site.xml --> <configuration> <property> <name>dfs.replication</name> <value>1</value> </property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop-2.7.3/dfs/data</value>
</property>
</configuration> <?xml version="1.0"?> <!-- mapred-site.xml --> <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> <?xml version="1.0"?> <!-- yarn-site.xml --> <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
比如mapred-site.xml
3、配置完成后,要配置ssh,查看是否安装了ssh,使用命令which ssh,若出现/usr/bin/ssh表示已安装。
4、输入命令ssh-****** -t rsa -P '' -f ~/.ssh/id_rsa,它会在你的/home/xxx(当前登陆的用户文件夹)创建一个隐藏的文件夹./ssh,使用命令ls -al查看,产生的文件目录如下:
其中id_rsa为私***,id_rsa.pub为公开**,这么做的目的是为了完全分布式时,多个hadoop之间的加密通信。私***只能解密公密发过来的加密信息,公开**只能解密私***发过来的加密信息。
5、输入命令cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys,也就是生成上图出现的authorized_keys文件,用于存储认证信息,第一登陆需要输入认证,第二次就可以直接登陆
6、登陆命令ssh localhost,第一次会出现确认信息,输入yes即可,下次登陆就没有这个步骤了,推出输入exit。
7、先格式化,hadoop namenode -format,再启动守护线程,先输入start-dfs.sh再输入start-yarn.sh最后输入(这个可以不启动)mr-jobhistory-daemon.sh start historyserver,或使用start-all.sh一键启动,不过官方已经不推荐这么用了。(注意:这样是启动不了的,因为前面我们修改了默认的配置的文件,我们真正进行了配置的文件是hadoop_conf)
(1)第一种方法给每个命令后面加上--config /home/hadoop-2.7.3/etc/hadoop_conf
(2)第二种配置环境变量 HADOOP_CONF_DIR,vim /etc/profile,增加HADOOP_CONF_DIR=/home/hadoop-2.7.3/etc/hadoop_conf
(3)第三种把原来的hadoop改个名字,再给hadoop_conf建立一个链接,ln -s hadoop_conf hadoop,当然如果你直接在hadoop上改东西的话,这一切将不会发生。
8、启动后输入hadoop fs -ls /你会发现是空的,此时你可以使用hadoop fs -mkdir /user/建立一个user文件夹,再次使用hadoop fs -ls / 就可以看到刚才建立的user文件夹。
四、完全分布式
1、再克隆3个虚拟机
2、打开全部虚拟机,修改每个虚拟机的主机名,vim /etc/sysconfig/network,vim /etc/hosts,并且添加本机和其他主机的ip和主机名,全部重启
network
hosts
3、此时可以在其中任何一台机器*问其他的主机
4、我们以s0主机作为namenode,所以我们修改s0的配置文件,修改core-site.xml、yarn-site.xml,hdfs-site.xml,给hadoop_conf下的slaves添加s1,s2,s3,表示添加三个数据节点
如果还要设置一个secondaryNode,比如将s2同时设置成secondaryNode,那么修改masters文件输入s2保存即可。
5、其他的主机应当配置一个和s0主机一样的配置文件,由于直接改麻烦,我们可以用远程复制方式
依次使用命令scp -r hadoop_conf [email protected]:/home/hadoop-2.7.3/etc/hadoop_conf,
scp -r hadoop_conf [email protected]:/home/hadoop-2.7.3/etc/hadoop_conf,
scp -r hadoop_conf [email protected]:/home/hadoop-2.7.3/etc/hadoop_conf,
scp -r hadoop_conf [email protected]:/home/hadoop-2.7.3/etc/hadoop_conf
6、hadoop namenode -format ,start-all.sh启动
启动所有的服务后可在windows的浏览器中输入 http://s0:50070/来访问namenode。这个s0是nameNode的主机名,可以修改windows下的一个叫做hosts的文件,它的位置C:\Windows\System32\drivers\etc\下。
添加类似以下内容即可:
192.168.243.128 s0