Hadoop组成及HDFS框架、YARN框架、MapReduce框架。

【1】每分钟清空/tmp/内容           
                    */1 * * * * /bin/rm -rf /tmp/*
         每个星期三的下午六点和八点的第5到15分钟之间备份/home/jinghang文件夹下的数据到/opt/software
                    5-15 18,20 * * 3 /bin/cp /home/jinghang/* /opt/software

【2】Linux如何查看进程,和杀死进程
                    pa -aux查看所有用户所有进程           ps -ef查看子父进程之间的关系
                    ps -aux | grep 进程名称 kill -9 pid (进程号) 
                    killall 进程名称
HDFS框架:1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副
                                                           本数、文件权限),以及每个文件的块列表和块所在的DateNode等。
                     2)  DateNode(dn)  :在本地文件系统存储文件块数据,以及块数据的校验和。
                     3)  Secondary NameNode (2nn)   :用来监控HDFS状态的辅助后台程序,每隔一段时间获取 
                                                                               HDFS元数据的快照。

Hadoop组成及HDFS框架、YARN框架、MapReduce框架。


                

 

YARN框架:

Hadoop组成及HDFS框架、YARN框架、MapReduce框架。
MapReduce组成和作用:
                    1)Map阶段并行处理输入数据
                    2)Reduce阶段对Map结果进行汇总

Hadoop组成及HDFS框架、YARN框架、MapReduce框架。

为大数据做准备:hadoop开发环境准备,保证自己的虚拟机环境都配好。
                             修改ip地址(自己决定)
                             关闭防火墙
                             主机名:hadoop01
                             用户名:jinghang
                             配置jinghang具有root权限
                             再/etc/hosts 下添加主机和服务器IP的映射关系
                             在/opt目录下创建两个文件夹module和software,并把所有权赋给jinghang
​                             安装jdk
                             安装hadoop
                             配置环境变量
                             检查java、hadoop是否安装成功