hadoop-1.0.3单机配置
hadoop-1.0.3单机配置
前提条件:
1. 安装jdk
2. ssh免密码输入访问
配置步骤:
1. 下载hadoop-1.0.3并解压到/home/ting/program/hadoop目录
2. 设置环境变量
vim ~/.bash_profile,添加如下内容:
export HADOOP_HOME=/home/ting/program/hadoop/hadoop-1.0.3
3. 在hadoop-1.0.3目录创建一个tmp目录
mkdir tmp
4. 修改conf/hadoop-env.sh
去掉JAVA_HOME前的#,并将其修改成自己安装的java路径。
# The java implementation to use. Required.
export JAVA_HOME=/home/ting/program/java/jdk1.6.0_34
5. 修改conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://127.0.0.1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/ting/program/hadoop/hadoop-1.0.3/tmp</value>
</property>
</configuration>
说明:127.0.0.1是单机环境下的本机地址,9000在搭建hbase集群环境时需要用到。
hadoop.tmp.dir设置为之前创建的tmp目录
6. 修改conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
7. 修改conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
8. 修改conf/masters和conf/slaves,其内容都是localhost
localhost
9. 格式化HDFS
命令:./bin/hadoop namenode -format
说明:进行此步前最好先删除tmp目录下的所有数据,否则DataNode线程无法启动。
10. 运行hadoop
命令:sh start-all.sh
11. 测试hadoop是否启动成功
命令:jps
若出现如下6个名称的进程,则hadoop运行成功。
15125 SecondaryNameNode
15217 JobTracker
14984 DataNode
19072 Jps
14860 NameNode
15348 TaskTracker
12. 验证Hadoop是否安装成功。打开浏览器,分别输入一下网址:
http://localhost:50030 (MapReduce的Web页面)
http://localhost:50070 (HDfS的web页面)