一起来学大数据|Linux常用管理命令,及大数据集群的搭建
昨天,我们对Linux系统和一些命令进行了简单的介绍,不知道大家是不是有所收获。今天,我们补充Linux的管理命令和大数据的集群搭建。
管理命令
❶磁盘管理
在磁盘管理这里,我们有3个命令,分别是df,du,free
首先,第一个df命令的作用是用来查看Linux系统中文件的状态信息,能够显示各个分区的大小,占用率,还有就是未使用的大小等信息。
df命令是从文件系统方向考虑的,除了文件的占用内存以外,它还会将被我们命令占用或者程序占用的空间计算进去。
命令事例如下图。
第二个du命令是用来查看文件或者是我们系统目录的大小,换句话说就是磁盘的级别。此命令是面向的文件,它只会计算文件或者目录占用的空间大小。
命令事例如下图。
第三个是free命令,它的作用是用来查看内存和交换空间的使用状态。
命令事例如下图。
❷进程管理
ps:用来查看系统中的进程
pstree:用来显示系统中的进程树
top:用来查看系统的健康情况
kill:用来杀死或关闭系统进程
❸用户管理
❹权限管理
在权限这部分我们只需要理解即可,它是用来保护文件。权限的管理包括对文件和文件夹两部分的管理。
1.对文件的RWX
- R:代表着对文件的可读取的权限
- W:代表着此文件拥有写数据的权限
- X:代表着此文件的可执行权限
2.对文件夹的RWX
- R:表示可ls查看文件夹的内容
- W:表示此文件夹可以创建文件夹和文件
- X:表示我们可以进入文件夹,就像cd
需要说明的一点是文件夹只有具有可执行权,此文件夹才可以有写的权限,也就是说如果没有执行权,那么写对此文件夹是没有任何作用的。
3. 修改文件所属主
4. 修改文件所属组
yum
在centOS中,我们使用yum来安装软件,它能过自动的解决软件的依赖。
yum的工作:
在centos中,我们通过yum来下载软件,其中yum会自动从网络上下载安装包。但是当我们遇到网络慢或者没有网的时候,就需要加载本地的yum源,如下图所示的样子。
- 第一步:创建本地仓库mount /dev/cdrom /mnt/dvd 挂载光盘 将安装镜像挂载到指定的文件夹下。
- 第二步: 修改配置文件
常用的yum命令:
克隆多台机器
大数据中用到的就是集群,,我们需要在我们自己虚拟机中搭建多个机器来模拟大数据的集群,在后面多个虚拟机的开启也是十分消耗内存的,加一张内存条的效果会更好。
制作模板克隆之前需要删除/etc/udev/rules.d/70-persistent-net.rules目录下的网卡和mac地址的映射文件,删除之后关机。
我们在我们新建的虚拟机上右键点击模板机,选择克隆。
选择虚拟机中的当前状态,并进行下一步。
我们进入创建克隆的页面,创建并下一步。
为克隆的虚拟机起一个合适的名字和安排一个位置存放虚拟机。
开始克隆。
克隆完成之后,我们进入虚拟机修改信息。
大家看到我们在这里已经创建了5个虚拟机,算是一个小小的集群,为我们之后的大数据的学习打基础。