2020.3.1Linux及大数据学习笔记分享

Linux基础命令学习

edit 编辑器 类似于记事本的编辑器，图形编辑器，在字符界面无法使用。
修改文件更改开机默认进入root用户
修改网卡配置

nano编辑器
sudo 切换到root用户，获取root用户权限
who命令 都有谁在连接这台主机

whoami命令 谁在使用设备

w命令 连接本主机在执行什么程序，或什么命令。

大数据基础

（1）批处理
MapReduce是批处理的代表
Spark 实时性更好
（2）流计算
流数据需要实时处理
流计算秒级
（3）图计算
（4）查询分析计算
满足实时交互的产品 代表Google dremel

云计算

解决数据的分布式存储和分布式处理两大问题。
特征：虚拟化和多用户。
概念：通过网络以服务的方式为用户提供廉价的IT服务。
不需要自建IT基础服务。
分类：公有云，私有云，混合云。
三种云服务：IaaS，Paas，Saas
IaaS最底层：面相网络架构师。
PaaS中间层:面相网络架构师
SaaS最高层：面向用户。
IaaS：基础设置即服务
将基础设置（计算资源和存储）作为服务出租。
PaaS：平台即服务
SaaS（SoftWare AS A service）：软件即服务
云计算的数据中心。
大数据处理架构Hadoop
JAVA语言开发，支持各种语言。
Hadoop两大核心，HDFS+MapRedeuce；