Hapood端口及配置说明
目录
一、文档编写的目的
hadoop主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。
本文主要介绍如何查找hadoop中有哪些配置，需要怎样配置，默认配置是什么等。
二、获取默认配置
要查看默认配置，有两个方法:
- 选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,yarn-default.xml这些就是默认配置,可以参考这些配置的说明和key，配置hadoop集群。
以hadoop2.9.1为例的路径为：
core-default.xml：
hadoop-2.9.1/share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xml
hdfs-default.xml：
hadoop-2.9.1/share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
mapred-default.xml：
hadoop-2.9.1/share/doc/hadoop/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
yarn-default.xml：
hadoop-2.9.1/share/doc/hadoop/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
- 浏览apache官网,三个配置文件链接如下(以hadoop2.9.1为例):
http://hadoop.apache.org/docs/r2.9.1/hadoop-project-dist/hadoop-common/core-default.xml
http://hadoop.apache.org/docs/r2.9.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
http://hadoop.apache.org/docs/r2.9.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
这里是浏览hadoop当前版本号的默认配置文件，其他版本号，要另外去官网找。
其中第一个方法找到默认的配置是最好的，因为每个属性都有说明，可以直接使用。
另外，core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。
三、常用的端口配置
3.1 HDFS端口
| 参数 | 描述 | 默认 | 配置文件 | 例子值 |
| fs.default.name | namenode RPC交互端口 | 8020 | core-site.xml | hdfs://master:8020/ |
| dfs.http.address | NameNode web管理端口 | 50070 | hdfs-site.xml | 0.0.0.0:50070 |
| dfs.datanode.address | datanode 控制端口 | 50010 | hdfs-site.xml | 0.0.0.0:50010 |
| dfs.datanode.ipc.address | datanode的RPC服务器地址和端口 | 50020 | hdfs-site.xml | 0.0.0.0:50020 |
| dfs.datanode.http.address | datanode的HTTP服务器和端口 | 50075 | hdfs-site.xml | 0.0.0.0:50075 |
3.2 MR端口
| 参数 | 描述 | 默认 | 配置文件 | 例子值 |
| mapred.job.tracker | job tracker交互端口 | 8021 | mapred-site.xml | hdfs://master:8021/ |
| mapred.job.tracker.http.address | job tracker的web管理端口 | 50030 | mapred-site.xml | 0.0.0.0:50030 |
| mapred.task.tracker.http.address | task tracker的HTTP端口 | 50060 | mapred-site.xml | 0.0.0.0:50060 |
3.3 其他端口
| 参数 | 描述 | 默认 | 配置文件 | 例子值 |
| dfs.secondary.http.address | secondary NameNode web管理端口 | 50090 | hdfs-site.xml | 0.0.0.0:28680 |