hadoop笔记第一天
1:安装虚拟机(略)
2:安装必要的环境:安装jdk
3:安装hadoop
3.1上传hadoop包
3.2解压hadoop包
首先在目录~创建一个app目录
mkdir /app
解压:
tar -zxvf hadoop-1.1.2.tar.gz -C /app/
[[email protected] hadoop-2.4.1]$ ll
total 60
drwxr-xr-x. 2 hadoop hadoop 4096 Jun 20 2014 bin
drwxrwxr-x. 4 hadoop hadoop 4096 Jul 6 16:32 data
drwxr-xr-x. 3 hadoop hadoop 4096 Jun 20 2014 etc
drwxr-xr-x. 2 hadoop hadoop 4096 Jun 20 2014 include
drwxr-xr-x. 3 hadoop hadoop 4096 Jun 20 2014 lib
drwxr-xr-x. 2 hadoop hadoop 4096 Jun 20 2014 libexec
-rw-r--r--. 1 hadoop hadoop 15458 Jun 20 2014 LICENSE.txt
drwxrwxr-x. 3 hadoop hadoop 4096 Jul 7 15:52 logs
-rw-r--r--. 1 hadoop hadoop 101 Jun 20 2014 NOTICE.txt
-rw-r--r--. 1 hadoop hadoop 1366 Jun 20 2014 README.txt
drwxr-xr-x. 2 hadoop hadoop 4096 Jun 20 2014 sbin
drwxr-xr-x. 4 hadoop hadoop 4096 Jun 20 2014 share
bin :执行的脚本
etc:配置文件
share:jar包
doc:文档(可以是删除rm-rfdoc)
lib:本地库
include:跟本地库相关的文件
3.3配置hadoop伪分布式(要修改4个文件)
第一个:hadoop-env.sh
export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
第二个:core-site.xml(启动时)
<configuration>
<!-- 指定HDFS的namenode的通信地址 -->
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop001:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存放目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop-2.4.1/data/</value>
</property>
</configuration>
第三个:hdfs-site.xml
<configuration>
<!-- 配置HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
第四个:mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
第五个:yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop001</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
3.4将hadoop添加到环境变量
3.5格式化HDFS
hadoop namenode -format
3.6启动hadoop
start-all.sh
3.7验证集群是否启动成功(有这5个就可以)
[[email protected] hadoop-2.4.1]$ jps
2750 SecondaryNameNode
2887 ResourceManager
2483 NameNode
3926 Jps
2570 DataNode
3109 NodeManager
配置ssh免登陆(登录分为密码登录和秘钥登录,如果不配置秘钥,默认的采用密码登录)
生成ssh免登陆**
ssh-****** -t rsa
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免登陆的机器上
cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
有疑问欢迎邮箱提问: