4.22初识云计算关键技术
1、虚拟化技术
- 最重要的核心技术之一,为云计算服务提供基础架构层面的支撑,
- 是ICT服务(信息通信技术)快速走向云计算的最主要驱动力
- 最重要的是服务器虚拟化
2、分布式数据存储技术
将数据存储在不同的物理设备中,摆脱硬件设备的限制,同时扩展性更好,能够快速响应用户需求的变化
在当前的云计算领域,Google的GFS和Hadoop开发的开源系统HDFS是比较流行的两种云计算分布式存储系统
GFS(Google File System):谷歌的非开源的GFS(GoogleFile System) 云计算平台满足大量用户的需求,并行 地为大量用户提供服务,使云计算的数据存储技术具有了高吞吐率和高传输率的特点
HDFS(Hadoop Distributed File System):大部分ICT厂商,包括Yahoo、Intel的“云”计划采用的都是HDFS的数据存储技术,未来的发展将集中在超大规模的数据存储、数据加密和安全性保证、以及继续提高I/O速率等方面
3、编程模式
分布式并行编程模式:更高效地利用软、硬件资源,让用户更快速、更简单地使用应用或服务;,后台复杂的任务处理和资源调度对用户是透明的,这能大大提升用户体验
MapReduce是当前云计算主流并行编程模式之一,主要用于大规模数据集(大于1TB)的并行运算
其模式将任务自动分成多个子任务,通过Map和Reduce两步实现任务在大规模计算节点中的高度与分配,将要执行的问题分解成Map(映射)和Reduce(化简)的方式,先通过Map程序将数据切割成不相关的区块,分配(调度)给大量计算机处理,达到分布式运算的效果,再通过Reduce程序将结果汇整输出
4、大规模数据管理
云计算需要对海量的分布式数据进行处理、分析,因此,数据管理技术必需能够高效的管理大量的数据
Google的BT(BigTable)数据管理技术和Hadoop团队开发的开源数据管理模块HBase是业界比较典型的大规模数据管理技术
BigTable数据管理技术:是分布式的、持久化存储的多维度排序的非关系型数据库,建立在 GFS, Scheduler, Lock Service和MapReduce之上,与传统的关系数据库不同,它把所有数据都作为对象来处理,形成一个巨大的表格,用来分布存储大规模结构化数据,目的是可靠的处理PB级别的数据,并且能够部署到上千台机器上
5、分布式资源管理