大数据 - 安装CenOS7

说在前面,pf老师真的好有耐心呀,点赞。这才是猛男该有的样子。

课前公告
大数据 - 安装CenOS7
大数据,R语言,python……数据量过大(以T为单位),Hadoop平台
Hadoop平台:分布式存储即HDFS
MapReduce计算方法(先打散数据),
流式存储方式 ,增删改查(不删不查,操作简单速度快),是覆盖的过程,64M,不需要长时间的寻址,存读都是流式的即要按顺序不能从中间开始,并不绝对,开源可设置(我们的电脑是块式,存储到磁盘当中的某一块,每块默认4k )
节点 两种NameNode(一般只有一个,ServerGUI,消耗较大,内存占用较大) & DataNode(有好多个,可以不装SeverGUI)

Hadoop单节点安装
安装之前要先装Java,两者有依赖关系
Spark和Java、Hadoop的版本都有依赖关系
确定版本再安装:Spark(稳定版)->Hadoop->Java

CentOS7 = Redhat(花钱买服务,按时间,源码公开/提供10年有效期)
(没有任何保障,提供软件更新)
Ubuntu 一般提供5年服务,不同版本变化非常大(为了适应图形界面)14.04,16.04,18.4
Spark (主流)基于内存运算,基于Hadoop

第一节课做的事情就是安装CenOS7,在这之前,你要下载好这个安装文件 & VMware

接下来正文开始

首先右键以管理员身份运行VMware,点击创建新的虚拟机(画质有点糊是因为上课截的是老师的笔记
大数据 - 安装CenOS7
推荐)使用典型,点击下一步
大数据 - 安装CenOS7
选择安装介质,点击下一步
大数据 - 安装CenOS7
给虚拟机起名字(按自己喜好来
选择放置位置,第一个考虑是把虚拟机与宿主机放到不同的物理硬盘上,
第二个考虑是硬盘读写速度
大数据 - 安装CenOS7
此电脑右键,管理(打开之后点磁盘管理,查看自己电脑的磁盘容量&运行速度

大数据 - 安装CenOS7
大数据 - 安装CenOS7
建议硬盘空余空间>40G容量

大数据 - 安装CenOS7

建议最大磁盘大小>40G(因为这个节点除了要安装集群文件,还要安装开发系统)//将虚拟磁盘存储为单个文件(运行速度快)

大数据 - 安装CenOS7

为了安装速度比较快,点击“自定义硬件”,根据自己的电脑配置,选择内存大小和CPU核心数

电脑运行内存8G//建议内存选择2G(2-48MB),其他节点1G
处理器数量4个(显示8个因为双线程
大数据 - 安装CenOS7
//建议处理器数量2个,一定要勾上“虚拟化Intel VT -X/EPT 或 AMD-V/RVI(V)”

大数据 - 安装CenOS7
设置完成,关闭,开始安装进程

大数据 - 安装CenOS7
鼠标点击界面,按键盘上的“i“键,回车开始安装(如果要释放鼠标,按”alt+ctrl“组合键。

大数据 - 安装CenOS7
选择安装过程中的语言,点击continue

出现这个界面后,需要等待系统进行安装前的检测,稍等片刻,看看哪个项目还有感叹号(需要手工处理)
大数据 - 安装CenOS7
大数据 - 安装CenOS7点击该项目,进行分区选项

大数据 - 安装CenOS7

不需任何改动,全部使用默认选项,点击“Done“
点击图示位置大数据 - 安装CenOS7,选择安装软件的内容

NameNode选择“Server with GUI“,然后点击”Done“,系统会再次进行检测,检测完成之后点击”Begin Installation“。进行安装
大数据 - 安装CenOS7
点击“ROOT PASSWORD“,设置root密码,一定要记住(记不住只能重装了,所以必须记住),设置完之后点击”USER CREATION“,设置用户名和密码,要勾选“Make this user administrator”,将不能够对系统进行相应设置,点击了可以给该用户相应权限,大数据 - 安装CenOS7

设置完之后点击“Done”,系统进行安装。

(大概需要五分钟)安装完成后点击“Reboot”按钮重启

大数据 - 安装CenOS7
点击图中显示,勾线I accept…,接受协议。

GPLv2*软件协议(可以拷贝使用修改发行,可以卖服务不能卖产品,修改之后要求继承GPL协议,要上传到社区供大家分享),点击“FINISH …”

登入,选择使用语言,建议使用英语(汉语目录名输入较慢,操作不方便,厉害的人都用英语)

设置完了之后不能上网,大数据 - 安装CenOS7

因为网络没有链接“Wired Off”点击边上的三角箭头,选择“connect”,///图标发生变化 大数据 - 安装CenOS7

验证可以上网之后,点击最下面的“我已完成安装”,VMware将自动安装一些工具

完:))笑出双下巴