Big Data (2)
019_测试环境(HDFS Shell基本命令和运行WordCount程序)
020_结合WordCount实例讲解Hadoop的数据存储和数据计算
021_Hadoop 1.x五大服务与配置文件中的对应关系
五大服务与配置文件的对应关系
所有配置文件都在conf文件夹下,
1) 配置文件
三大基础配置文件
l core-site.xml
2007年之前是Hadoop core,在2007年改名为Hadoop common工程,
配置Hadoop Common Project相关的属性配置,Hadoop1.x框架基础属性的配置
l hdfs-site.xml 配置HDFS Project文件系统相关的属性
l mapred-site.xml 配置与MapReduce框架相关的属性
额外的配置文件
l masters:主节点,
并不是配置Hadoop中的主节点的相关信息,配置HDFS辅助节点的信息
l slaves:从节点
配置Hadoop1.x中HDFS和MapReduce框架的从节点信息
2) 5大守护进程
3) 守护进程与配置文件的对应情况
022_分析Hadoop 1.x三种启动停止方式的Shell 脚本
023_去除警告【Warning$HADOOP_HOME is deprecated。】
024_Hadoop相关命令中的【--config configdir】作用
025_Hadoop 1.x目录结构
Hadoop1.20.x安装目录结构详细展示:
总结:
Hadoop的配置文件比较多,其设计原则可概括为如下两点:
Ø 尽可能模块化,即每个重要模块拥有自己的配置文件,这样使得维护以及管理变得 简单。
Ø 动静分离,即经可动态加载的配置选项剥离出来,组成独立配置文件。比如,Hadoop1.0.0版本之前,作业队列权限管理相关的配置选项被放在配置文件mapred-site,.xml中,而该文件是不可以动态加载的,每次修改后必须重启MapReduce。但从1.0.0版本开始,这些配置选项被剥离放到独立配置文件mapred-queue-acls.xml中,该文件可以通过Hadoop命令行动态加载。
Bin目录,运行以及管理Hadoop集群相关的脚本。几个常用的脚本:
① Hadoop 最基本且功能最完备的管理脚本,其他大部分脚本都会调用该脚本。
② start-all.sh/stop-all.sh 启动或停止所有节点上的HDFS和MapReduce相关服务
③ start-mapred.sh/stop-mapred.sh 单独启动或停止MapReduce相关服务
④ start-dfs.sh/stop-dgs.sh 单独启动或停止HDGS相关的服务
026_Eclipse导入Hadoop源码项目
|-