伪分布式安装jdk1.7+hadoop2.5.0cdh+flume+nginx
SSH免密
首先关闭防火墙，必须得两个一起关闭
centOS 6.5关闭防火墙步骤
关闭命令（暂时）： service iptables stop
永久关闭防火墙：chkconfig iptables off
两个命令同时运行，运行完成后查看防火墙关闭状态
service iptables status
1. 检测ssh是否安装
Rpm -qa | grep ssh
若没安装 执行ssh命令：yum install openssh-clients
yum install openssh-service
2. 创建一个hadoop的用户
useradd -m hadoop -s /bin/bash
3. 配置SSH无密码登录
Ssh localhost
3.1： cd ~/.ssh/
（如果没有这个目录。先执行ssh localhost，再执行cd ~/.ssh/）
3.2：ssh-****** -t dsa (创建)
3.3：cat id_dsa.pub >> authorized_keys 加入授权
3.4：chmod 700 ./ authorized_keys 修改权限
3.5：vi /etc/ssh/sshd_config 取消三个变量的注释
3.6：重启sshd服务 service sshd restart
3.7：ssh localhost 没有提示输入密码就是成功
安装java环境变量：
一般centos默认安装java。默认安装JRE 不是JDK
第一步：
yum install java-1.7.0-openjdk java-1.7.0-openjdk-devel
默认安装目录：/usr/lib/jvm/java-1.7.0-openjdk
执行：rpm -ql java-1.7.0-openjdk-devel | grep /bin/javac
Java -version 命令查看JDK是否安装成功
保证java和javac命令全局都能使用：
vi /etc/profile （在x-shell中查看 这样可以粘贴）
在profile最后面加入以下语句，设置JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk.x86_64
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
（以上三行 直接粘贴复制）
Source /etc/profile 修改的Javahome变量生效
Echo $JAVA_HOME （显示安装路径就证明成功了）
hadoop单机模式安装
1. 通过工具把hadoop安装包和mds文件发送到服务器。在Xshell(先下载 lrzsz 这个拉文件所需的工具) 中先切换到
root /home/hadoop目录下 再把两个直接拉进hadoop下
输入：cat hadoop-2.6.0.tar.gz.mds | grep 'MD5'
md5sum hadoop-2.6.0.tar.gz | tr "A-Z" "a-z"
2. 验证tar包的完整性
3. 切换到root用户，进入到/home/hadoop目录下。解压安装安装包到/usr/local/hadoop
执行命令：
解压安装命令完成之后会在/usr/local自动生成一个hadoop2.6.0的文件。
解压成功最后几行（解压太多 刷屏了）
然后修改权限：
mv hadoop-2.6.0/ hadoop/ 更改文件名称
chown -R hadoop:hadoop ./hadoop 修改权限
查看hadoop是否安装成功:进入到/usr/local/hadoop/bin 执行./hadoop version
例子测试： 进入hadoop: cd /usr/local/hadoop
创建input : mkdir ./input
cp ./etc/hadoop/*.xml ./input
把配置文件复制到input目录下
再进入：vi /etc/hosts
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z]+'
这是一行 不要分开写 直接粘贴复制
进入：cd output
cat part-r-00000
使用source ~/.bashrc 命令使配置生效（输入之后没有反应 说明成功了）
hadoop2.5.0 CDH 伪分布安装配置文件
配置hadoop
cd /usr/local/hadoop/etc/hadoop
第一个：hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk.x86_64
第二个：core-site.xml
<!-- 制定HDFS的老大（NameNode）的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://主机名:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
</property>
第三个：hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>admin:50090</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>admin:50070</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/nn/name</value>
</property>
<property>
<name>dfs.namenode.edits.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/nn/edits</value>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/snn/name</value>
</property>
<property>
<name>dfs.namenode.checkpoint.edits.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/snn/edits</value>
</property>
</configuration>
第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop-yarn.admin:19888</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop-yarn.admin:10020</value>
</property>
<property>
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>
</configuration>
第五个：yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>admin</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 日志聚合功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保存时长 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>
第六个 yarn-env.sh
export HADOOP_YARN_PID_DIR=/usr/local/hadoop/tmp
第七个 hadoop-env.sh
export HADOOP_PID_DIR=/usr/local/hadoop/tmp
再进入：vim /etc/profile
(把下面三条复制上)
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk.x86_64
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
再执行：source /etc/profile
3.3格式化namenode（是对namenode进行初始化）
hdfs namenode -format (hadoop namenode -format)
3.4启动hadoop
先启动HDFS
sbin/start-dfs.sh
再启动YARN
sbin/start-yarn.sh
（执行：start-all.sh(新版的是start-dfs.sh start-yarn.sh 关闭是 :stop-all.sh)
最后执行：jps）
3.5验证是否启动成功
使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
http://192.168.8.118:50070 （HDFS管理界面）
http://192.168.8.118:8088 （MR管理界面）
统计文件中的单词个数。。
hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount hdfs://aa:9000/ff hdfs://aa:9000/tt
安装nginx
安装好以后在任意路径启动
nginx自动安装在/etc/下
记得在C盘下写映射 之后在网页直接输主机名加 /
安装flume
直接进行解压就OK
后续接着写