分布式计算、云计算与大数据第八章
云计算概述
对一般用户而言：云计算是指通过网络以按需、易扩展的方式获得所需的服务。即随时随地只要能上网就能使用各种各样的服务，如同钱庄、银行、发电厂等。这种服务可以是IT和软件、互联网相关的，也可以是任意其他的服务。
对专业人员而言：是分布式处理、并行处理和网格计算的发展，或者说是这些计算机科学概念的商业实现。是指基于互联网的超级计算模式–即把原本存储于个人电脑、移动设备等个人设备上的大量信息集中在一起，在强大的服务器端协同工作。它是一种新兴的共享计算资源的方法，能够将巨大的系统连接在一起，以提供各种计算服务。
云计算与对等计算
对等计算系统中，每个节点都拥有对等的功能与责任，既可以充当服务器向其他节点提供数据或服务，又可以作为客户机享用其他节点提的供数据或服务，节点之间的交互可以是直接对等的，任何节点可以随时*地加入或离开系统。
对等计算：有可能作为云计算的一个类型
云计算与并行计算
并行计算：是指同时使用多种计算资源解决计算问题的过程。通常指一个程序的多个部分同时运行于多个处理器上。
特点：把计算任务分派给系统内的多个运算单元
并行计算问题的特征:
将工作分离成离散部分，有助于同时解决
随时并及时地执行多个程序指令（多条线同时运行）
多计算资源下解决问题的耗时要少于单个计算资源下的耗时
云计算包含的并行计算特征：
（1）用户资源（单一类型和组合类型）请求的同时处理
IaaS关键技术介绍：虚拟化技术
虚拟化是将底层物理设备与上层操作系统、软件分离的一种去耦合技术，其是基于开放的x86架构，将硬件、操作系统和应用程序一同装入一个可迁移的虚拟机档案文件中
虚拟化的目标是实现IT资源利用效率和灵活性的最大化
虚拟化技术在x86架构上比较通用，在RISC架构下比较封闭
云计算关键技术
云计算体系结构
云计算核心服务通常可以分为3 个子层：基础设施即服务层（IaaS, infrastructure as a service）、平台即服务层（PaaS, platform as a service）、软件即服务层（SaaS, software as a service）
Google云计算原理
Google云计算关键技术
Google云计算平台的几个关键技术
文件存储，Google File System，GFS
并行数据处理MapReduce
结构化数据表BigTable
分布式锁Chubby
亚马逊云服务
亚马逊云平台存储架构
AWS提供一系列云计算服务，无疑要建立在一个强壮的基础存储架构之上，Dynamo是Amazon提供的一款高可用的分布式Key-Value存储系统，具备去中心化，高可用性，高扩展性的特点
Dynamo采用一致性哈希来完成数据分区。在一致性哈希中，哈希函数的输出范围为一个圆环，系统中每个节点映射到环中某个位置，而Key也被Hash到环中某个位置，Key从其被映射的位置开始沿顺时针方向找到第一个位置比其大的节点作为其存储节点
亚马逊提供的云计算服务
弹性计算云EC2
简单存储服务S3
简单数据库服务Simple DB
简单队列服务SQS
弹性MapReduce服务
内容推送服务CloudFront
AWS导入/导出
关系数据库服务
弹性计算云EC2
来自Amazon的Elastic Compute Cloud（EC2，弹性计算云）提供了可定制化的云计算能力，这是专为简化开发者开发Web伸缩性计算而打造的。用户可以全面掌控自身的计算资源，同时Amazon运作是基于“即买即用”模式的。只需花费几分钟时间就可获得并启动服务器实例，所以它可以快速定制来响应计算需求的变化。
价格：新AWS用户可以免费使用Amazon EC2一年时间。它还提供了按需定制实例，Linux实例每小时0.085美元起，Windows实例每小时0.12美元起。保留实例的价格为每年227.50美元起，或是每小时0.03美元起。
EC2的主要特征：
灵活性：可自行配置运行的实例类型、数量，还可以选择实例运行的地理位置。可以根据用户的需求随时改变实例的使用数量。
低成本：按小时计费
安全性：SSH、可配置的防火墙机制、监控等
易用性：用户可以根据亚马逊提供的模块*构建自己的应用程序，同时EC2还会对用户的服务请求自动进行负载平衡
容错性：弹性IP
EC2的基本架构
简单存储服务S3
简单存储服务S3是一款在线存储服务，在云计算环境下提供了不受限制的数据存储空间。用户可通过授权访问一个简单的Web服务界面来存储和获取Web上任何地点的数据。
价格：新用户可以在1年内每月免费获得5GB的S3存储；2万次Get请求；2千次Put请求；15GB的数据传入；和15GB的数据传出。此后的花费请查看S3价格单
S3为任意类型的文件提供临时或永久的存储服务
非传统关系数据库存储模式
——简单、高效
——存储、读取，非查询
基本概念
——对象：S3的基本存储单元（数据、元数据），数据类型任意
——键：对象的唯一标识符
——桶：存储对象的容器（不能嵌套、在S3中名称唯一、每个用户最多创建100个桶
简单数据库服务Simple DB
SimpleDB是经过优化的非关系型数据存储，它可以消除繁重的数据库管理员工作。Web服务方式的数据项存储和查询请求，该服务自动创建和管理多份数据以确保数据的高可用率和稳定性。
价格：新用户可以每月免费获得25机时（Machine Hour）和1GB存储。之后的花费其参阅官网。
#简单队列服务SQS
Simple Queue Service（SQS，简单队列服务）是托管队列，它增加了不同任务应用在分布式组件之间的工作流。SQS允许开发者移动数据，而不丢失信息，每个请求的组件通常都保持可用状态。
价格：新用户每月可获得10万SQS排队请求。之后，用户每1万请求收取0.01美元。数据传输花费根据需求变化。
目标：解决低耦合系统间的通信问题，支持分布式计算机系统之间的工作流
特点：简单、无处不在
——“在互联网的所有计算机不用安装任何软件或特殊防火墙配置就可以增加或读消息”
处理端：EC2上的AMI
弹性MapReduce服务
Elastic MapReduce（弹性MapReduce）允许企业和开发者或是其他人士处理大规模数据。使用运行在Amazon EC2和S3的托管Hadoop框架，用户可以即刻利用随心定制的计算力来完成数据密集型任务，诸如数据挖掘或是科学仿真。
价格：每小时0.015美元起，另外还需附加标准Amazon EC2和Amazon S3价格。
内容推送服务CloudFront
CloudFront集合了其他的Amazon云服务，来为企业和开发者提供一种简单方式，以实现高速传输分发数据。同EC2和S3最优化地协同工作，CloudFront使用涵盖了边缘的全球网络来交付静态和动态内容。
价格：用户可按需支付。10TB范围内每月每GB向外传输的起点价格是0.15美元。用户可通过AWS Simple Monthly Calculator（Amazon简单按月价格计算器）来估算每月的支出。预留能力价格经要求也是可以的。
AWS导入/导出
AWS Import/Export工具采用Amazon公司内部的高速网络和便携存储设备，绕过互联网来对Amazon云上的数据移入移出，Import/Export通常快于互联网连接，比组织自己升级带宽具价格优势。
价格：统一定价是每设备80美元，还需附加每数据载入时的2.49美元。额外费用可通过Amazon专用计算机计算。
关系数据库服务
Relational Database Service（RDS，关系数据库服务）在云计算环境下通过Web服务提供了弹性化的关系数据库。接管数据库的管理员任务，以前使用MySQL数据库的所有代码，应用和工具都可兼容Amazon RDS。它可以自动地为数据库软件打补丁并完成定期的按计划备份。
价格：按需购买的DB实例，标准部署价格为每小时0.11美元起，多AZ部署价格为每小时0.22美元起。保留DB实例为每年227.50美元起。还有预分配的数据库存储每月每GB是0.1美元起。