云计算基础与应用 第六章 数据库
以下为自己个人做的笔记，不带有商业性质，纯粹交流分享学习资料，如有侵权，请联系作者，作者看到会第一时间删除，如有侵权敬请见谅。
（回想起之前学过的内容，我开始我明白了，这门课程的目的是什么：是为了培养一个腾讯云的产品推销经理而开设的课 ）
6.1 数据库概述
数据库，数据库是指长期存储在计算机内的，有组织可共享的数据的集合。
数据库中的数据按一定的数学模型组织描述和存储，因此它具有较小的冗余性，并且有较高的数据独立性，方便为各种用户所共享。
数据库管理系统是数据库系统的核心软件，它的主要功能包含了数据的定义功能，数据操纵功能，数据库的运行管理，以及维护等功能。
应用程序，应用程序是指基于数据库所开发的各种面向用户的实际的应用程序，例如学生管理系统、图书管理系统等等，这些都称为是应用程序。
数据库管理员主要是负责数据库的总体信息控制，数据库管理员也称为是dba具体的职责就包含了对数据的信息内容结构的定义，决定数据库的存储结构存取策略，定义数据库的安全性要求以及完整性约束条件，监控数据库的使用和运行等等。
从这张图上我们就可以看到数据库系统的组成，红色的4个部分就描述了数据库系统包含的4个部分，分别是数据库管理系统、数据库管理员以及应用系统。
数据管理技术的产生和发展。数据管理是指对数据进行分类、组织编码、存储检索和维护，它是数据处理的中心问题。
在应用需求的推动下，在计算机硬件软件发展的基础上，数据管理技术经历了人工管理阶段、文件系统阶段和数据库系统阶段，人工管理阶段当时的数据是不保存的，计算机主要是用于科学计算，一般不需要长期保存数据，应用程序负责管理数据，包含定义数据的存储结构、存储方式、输入方式等。当时的数据也是不共享的，也不具有独立性。因此当数据的逻辑结构或者物理结构发生变化时，应用程序也必须发生改变，数据完全依赖于应用程序，缺乏独立性。
在文件系统阶段，数据可以以文件的方式长期保存，而且有了专门的文文件系统对数据进行管理，
但是不同的应用程序使用相同的数据时，必须建立各自的文件，因而不能共享同样的数据，这样会导致数据的冗余度太大，浪费存储空间。另外数据的独立性也会很差。
为了解决这些问题，方便多用户多应用共享数据的需求，使数据为尽可能多的应用服务，出现了统一管理数据的专门的软件系统。
数据库管理系统，数据库系统有以下4个特点，一数据结构化，数据库系统实现了整体数据的结构化，这是数据库的主要特征之一，也是数据库系统和文件系统的根本区别。
数据库中的数据不再是仅仅针对某一个应用，而是面向整个组织或企业，不仅数据内部的是结构化的，而且整体也是结构化的，数据之间是具有联系的。
第二个特点，数据的共享度高，冗余度低且易扩充，数据的共享可以大大减少冗余，节约存储空间。数据的共享还能够避免数据之间的不相容性以及不一致性。
三数据的独立性高，数据的独立性主要包括物理独立性和逻辑独立性，物理独立性是指当数据的物理存储结构发生变化的时候，应用程序不需要改变，逻辑独立性是指当数据的逻辑结构改变的时候，应用程序也可以不变。
四数据由数据库管理系统统一管理和控制，数据库的共享将会带来数据库的安全隐患。因此数据库管理系统统一对数据库进行了安全性的保护，完整性的检查，并发控制以及数据恢复等等功能。
从这张图上我们可以看到，数据库内长期存储着在计算机内有组织的可共享的数据，数据库中的数据共享度高，不再仅仅针对某一个应用，而是面向多个应用程序。
下面给大家介绍一个数据库管理的例子，假设现在我们有这样的一个需求，需要存放学生的基本信息以及这些学生的奖励情况，那么我们可以在数据库里面建立两张表，一张表称为学生表，student的表专门用来存放学生的基本信息，另外一张表称为award表，奖励表用来存放学生的奖励情况，我们可以使用插入命令来完成学生的基本信息和奖励情况的数据录入，也可以使用相应的查询功能来实现。查找哪个学生获得了哪些奖励。
从这里我们可以看到我们刚才建立了两张表，上面一张表就是学生基本信息表，里面包含了学号姓名等等学生相关的基本信息。第二张表我们把它称为是奖励表，在这个奖励表里面包含了学生的学号以及学生所获得的奖励，因此我们可以通过这两张表来实现对学生的相关信息的查询。例如10余名这个学生，我们可以查到他的学号是201，0001通过他的学号，我们可以通过两张表的连接查询来找到这个学生所获得的奖励是2019校奖学金。
数据库系统的构成不包括下列哪项？A.数据库B.数据库管理员C.数据库管理系统D.操作系统
D
数据管理技术的发展阶段不包括下列哪项？A.人工管理阶段B.数据孤岛阶段C.数据孤岛阶段D.数据库系统阶段
B和C一样（
以下哪项是数据库系统的特点？ A.数据完全依赖于应用程序B.有专门的软件文件系统对数据进行管理C.数据不共享D.数据结构化
A和B是以前数据的特点
这题选D
6.2 数据库分类
数据库分类，数据库主要分为两大类，第一类是关系型数据库，第二类是非关系型数据库。
关系模型中数据的逻辑结构是一张二维表，它由行和列组成。例如在学生登记表里面，我们就是用一张二维表来描述学生的信息，学生的相关属性，我们把它称为是列名，例如学号、姓名、年龄等等，在二维表里面的行的内容就称为是元素，就记录了每一个学生的具体的信息。
在关系数据库中，对数据的操作几乎全部建立在一个或多个关系表格上，在大型数据库中通常有多个表构成，且表之间有各种关系，实际使用就是对这些关联的表格分类，合并连接或者选取等运算来实现数据库的管理。
而非关系型数据库，键值存储数据库，键值存储数据库将数据存储为键值对集合，其中键作为唯一标识符，主要用于处理大量数据的高访问负载，也用于一些日志系统等等，它比关系型数据库存储拥有更好的读写性能，能够解决关系型数据库无法存储数据结构的问题。
如图所示某个公有云的键值存储示意图，其中件包含分区键和排序件儿直的数据是无结构化的，通常只被当做字符串或者是二进制数据。
键值存储数据库，没有通过值查询的途径，他也不能通过两个或者两个以上的键来关联数据查询。
另外键值存储数据库不支持事务的回滚。
列式存储数据库也是一种非关系型数据库，列式存储相对于传统的关系型数据库的行式存储来说的，简单来说两者的区别就是对表中的数据的存储形式的差异。
从图上我们可以看出，传统的关系型数据库是按照行来存储数据库的，各行放入连续的物理位置，这很像传统的记录，或者是文件系统。
而列存储的方法是将数据按照列存储到数据库中，跟行存储类似，因此列存储数据库读取多条数据的同一列时效率很高，因为这些列都是存储在一起的，一次磁盘操作可以把数据指定的列全部读取到内存中。
文档数据库也是一种非关系型数据库，文档数据库可以存放并获取文档，可以是xml、JASON、 Python的格式，数据库中的文档彼此相似，但不必完全相同。
文档数据库中所存放的文档就类似于键值数据库中存放的值，但是文档数据库又类似于键值数据库的一个升级版本，因为它的值是可以查询的。
对于文档数据库来说，它的优点是数据结构要求不用很严格，表的结构是可以变的，不需要像关系型数据库一样，预先定义表结构，但是缺点就是查询性能不高，而且缺乏统一的查询语法。
非关系型数据库中还有一种图形数据库，图形数据库是一种存储图形关系的数据库，它应用图形理论存储实体之间的关系信息，
关系型数据库主要是用于存储明确的关系数据，但是对于复杂关系的数据存储却有些力不从心。
例如在图中这种人物之间的关系，如果用关系型数据库表示则非常复杂，而用图形数据库表示将会相对简单。
图形数据库的一般应用场景主要是用来描述社交网络推荐系统等等，专注于构建关系图谱，
它的数据模型是采用的是图结构，我们可以使用图结构的相关算法，例如最短路径寻址n度关系来查找这种图形数据库，但是对于图形数据库来说，很多时候要对整个图做计算才能得到需要的信息，而且这种图形结构不太好，做分布式的集群方案。
以下说法错误的是？A.键值存储数据库中提供了通过值查询的功能B.关系型数据库对数据的操作几乎全部建立在一个或多个关系表格上C.键值存储数据库比关系型数据库存储拥有更好的读写性能D.列存储数据库读取多条数据的同一列时效率很高
A（通过键查询值
关于键值存储数据库说法正确的是？A.支持事务的回滚B.可以通过两个或以上的键来关联数据C.可以用于处理大量数据的高访问负载D.提供了通过值查询的功能
C
关于图形数据库说法不正确的是？A.属于非关系型数据库B.可以应用于存储具有复杂网络关系的数据C.可以利用图结构相关算法进行查找D.很容易实现分布式的集群方案
D
6.3 数据库设计
第三节我们主要介绍数据库设计的特点，以及数据库设计的基本步骤。
数据库设计是指对于一个给定的应用环境，设计出优化的数据库逻辑模式和物理存储结构，并据此建立出数据库及其应用系统，使之能够有效的存储和管理数据，满足各种用户的应用需求，包括信息管理要求和数据操作要求。
信息管理要求是指在数据库中我们应该存储和管理哪些数据对象，数据操作要求包括了对数据对象要进行哪些操作，例如查询、增加、删除、修改以及统计等等。数据库设计的目的是为用户和各种应用系统提供一个信息基础设施和高效率的运行环境。高效率的运行环境是指数据的存取效率要高，数据的存储空间的利用率要高，以及在运行管理中的效率要高。
大型数据库设计是涉及到多个学科的综合性技术，又是一项庞大的工程项目，他要求多方面的知识和技术，主要包括了要有计算机的基础知识，软件工程的相关知识程序设计的方法和技巧，以及数据库领域的相关设计知识。
数据库设计的基本步骤，数据库设计分为6个阶段，一需求分析，需求分析阶段是否做得充分和准确，决定了构建数据库的速度和质量。
二概念结构设计，概念结构设计是通过对用户的需求进行综合归纳抽象，形成一个独立于具体数据库管理系统的概念模型。通常在这个阶段，我们会采用实体联系途径的工具来实现。
三，逻辑结构设计，逻辑结构设计阶段是将概念结构阶段产生出的概念模型转化为某个数据库管理系统所支持的数据模型，并对其进行优化。如果我们采用的是关系型数据库，我们是把上一阶段设计出的实体联系图转换成了二维表。
四物理结构设计阶段，物理结构设计阶段是为逻辑结构选取一个最适合的应用环境的物理结构，其中包括了存储结构和存取方法。
五数据库的实施阶段，根据逻辑设计和物理设计的结构来构建数据库，编写相应的调试和应用程序，并且组织数据入库进行试运行。
最后一个阶段是数据库的运行和维护，通通过试运行后即可投入正式的运行。我们在运行过程中还必须不断地对其进行评估调整和修改。
在这6个阶段中，需求分析和概念设计独立于任何数据库管理系统，而逻辑设计和物理设计与选用的数据库管理系统有着密切的关系。
数据库设计的基本步骤，数据库设计分为6个阶段。
一需求分析，需求分析阶段是否做得充分和准确，决定了构建数据库的速度和质量。
二概念结构设计，**概念结构设计是通过对用户的需求进行综合归纳抽象，形成一个独立于具体数据库管理系统的概念模型。**通常在这个阶段，我们会采用实体联系途径的工具来实现。
三逻辑结构设计，逻辑结构设计阶段是将概念结构阶段产生出的概念模型转化为某个数据库管理系统所支持的数据模型，并对其进行优化。如果我们采用的是关系型数据库，我们是把上一阶段设计出的实体联系图转换成了二维表。
四物理结构设计阶段，物理结构设计阶段是为逻辑结构选取一个最适合的应用环境的物理结构，其中包括了存储结构和存取方法。
五数据库的实施阶段，根据逻辑设计和物理设计的结构来构建数据库，编写相应的调试和应用程序，并且组织数据入库进行试运行。
最后一个阶段是数据库的运行和维护，通通过试运行后即可投入正式的运行。我们在运行过程中还必须不断地对其进行评估调整和修改。
在这6个阶段中，需求分析和概念设计独立于任何数据库管理系统，而逻辑设计和物理设计与选用的数据库管理系统有着密切的关系。
下列哪项不属于数据库实施阶段的主要工作？A.对用户需求进行综合、归纳与抽象，形成一个独立于具体数据库管理系统的概念模型B.根据逻辑设计和物理设计的结果构建数据库C.编写与调试应用程序D.组织数据入库并进行试运行
A
数据库设计的目标不包括下列哪项？A.数据库数据的存取效率高B.数据库存储空间的利用率高C.数据库系统运行管理的效率高D.部署数据库的硬件越贵越好
D
以下说法错误的是？ A.需求分析和概念设计独立于任何数据库管理系统B.逻辑设计和物理设计与选用的数据库管理系统无关C.需求分析是否做得充分与准确，决定了构建数据库的速度和质量D.在数据库运行过程中仍然需要不断地对其进行评估、调整与修改
B
(我第一次错选了A 但是上面的笔记有讲到。
6.5 云数据库运用场景和实例
本章我们主要给大家介绍的是这些数据库它的应用场景有哪些？
那么对于第一个我们会给大家介绍，那么常见的这种关系型的数据库他分别用在什么地方？我们先来看一下，那么游戏的应用。
，那么它就是有这种数据激增，你像随着玩家越来越多对不对？那么这样的话就是数据回答，比如说游戏今天好不容易升了一级，当时出了问题，那么又回到了一级，啊这是不可能的事情。所以说用户的数据对游戏来说很重要，发生故障的时候你就尽可能少的有带来这种损失。
那么这个的话就说我们来看，那么难点和挑战有哪些？数据量越来越大，我到底把数据放在哪里呢？那么多时间节点的去保留副本是怎么去做？那么数据量越来越大，弹性扩容是怎么做的？怎么去及时的去响应服务器的需求？
我们来看这样一个典型的场景，首先弹性扩容这个问题，对于我们cdb服务满塞口也不存在问题，因为这个本身就是自带的功能，然后我们分分钟就可以去部署和扩容我们的游戏区的这样一些数据库。那么再一个就是快速回档，我们好不容易升了一级是吧，我们不希望出了任何的问题，所以我们借助GDP任意时间点回档的功能，包括说支持批量操作，我们可以随时随地的去恢复任意时间节点，为游戏回档提供这种技术支持。
那么再一个的话就是我们的互联网，互联网和移动APP，我们知道移动APP那么这个强调的是咱们的装机量。好的，那么现在我们说装机量上来了，有的时候大家都在手机上安装了，比如说我们的腾讯视频、QQ微信，那么现在已经有14亿人在访问咱们的微信，在访问咱们的QQ，现在问题在于这么高的并发应该怎么处理呢？并且都是在白天访问对不对？而且大家都是读的多还是写的多，比如说这是个论坛，这是个新闻的APP，当然大家都是看新闻，那么对这些读取的请求远大于写入的请求造成的数据库压力很大，这个应该怎么办呢？那么它的一个主要的难点和挑战在于性能优化，你这么多人这么多并发对不对？你数据库要配的要高，要性能优化。
那么再有说我们说读的多，看新闻的多，只有小编辑才会去写，就是说你要去实现数据库的读写分离，把读性能给它提高。
那么我们看这种典型的场景，那么本身大家都通过负载均衡去反问他服务器，那么服务器再去连接咱们的数据库。那么刚才我们谈到并发好大，这个时候应该怎么办？那么就在中间加上我们的radius，我们会把咱们的热数据全部作用于radius上。好的，现在读的那么高，写的没有多少应该怎么做呢？我们实现咱们的读写分离，那么你看新闻就全部走这样的一些只读实例，那么你小编去写的时候就走咱们的一些后台，然后走咱们写的那一条，那么写到咱们的主题上。
那么针对咱们弹性缓存的使用请求，比如说我们刚刚谈到的咱们的一些高速缓存的场景，电子商务的女生，商品的分类，搜索的结果的列表，产品的这样一些比如说介绍业，这些都是我们经常要访问到的，但是我们说造成的数据库压力非常大，我们就可以在前面去加上一个弹性缓存，那么使得大家先访问到radius，那么这样的话我们再经过一道的压力承载之后，再把沉淀下来的数据返回到我们的后台的数据库。
那么我们来看这样一个场景，你其实直接访问到的其实就是我们的crs然后经过crst到过滤，比如说你提交了个订单，好的，那么crs先接下，那么再把订单的数据给它回传到咱们后端的cdb中。
那么对分布式的来说，实际上在这里什么时候会用到分布式？比如说咱们的车联网，物联网、摄像头，比如说我们现在说智能设备，甚至说我们说各种智慧的几个方案，那么我们都会做到几点，第一个就是数据非常大，我们的安防然后再的话就是传感器非常多，那么这个时候我们应该如何的快速集中的去上传呢？其实没有什么好的办法。因为就像我们在这里说到，那么视频的安防监控，我们做了一个全国的这样的一些视频安防监控，那么这个视频应该上传到哪里去呢？或者说我们这个网站是一个全国性的的城市都有这个网站，我要去做数据的存储，我应该去放到哪里去呢？是集中存放吗？那么集中存放首先那么不在当前地域的这样一些站点，那么去存放的时候它就会有延迟。
那么集中存放如果说数据库坏了，将会导致全国各地的这样一些设备或者说业务就会停滞。那么再有就是说他会造成一个瓶颈的存在。
那么这个时候我们就要求最好使用分布式各地管各地的，然后最后数据再去把它汇总成那么这就是我们的cdb去做的一个事情，那么这个d就是分布式。我们来看一下，用户通过负载均衡反馈到服务器，然后服务器再通过负载均衡把这样的一些业务的数据给它存储在不同的数据库中，那么这个叫做水平的扩展。你会看到后边的我们的数据库服务器有业务的数据，有大数据的存储等等，那么这些都是分布式去存储。
那么再一个就是我们来看这样一些场景下，像在金融业务上手机银行、网上理财区块链，尤其是区块链，这就是一个非常好的分布式的数据库。我们这个特点就是每笔交易很小，但是次数是很多，并且说区块链它没有中心，对不对？去中心化，那任何地方都是数据库，那么这就是非常典型的一个代表。
那么再就是我们来看水平扩展，那么水平扩展在这里的话，dcdb提供这种线性的水平扩展能力，能够实时的去提升我们的数据库的处理能力，轻松的去提高访问的效率。像在这里我们的QPS可以达到1500多万。
再一个就是我们的MongoDB，然后对Mongodb来说，在这里将会适用于咱们的像游戏开发版本迭代，那么它需要频繁的去修改表的一个数据库的结构，那么这个就要求你不能够把库表的结构给定死，这个时候需要频繁的修改，那么这个就是我们的芒果db它天生的一个特点。
比如说它本身就是一个scheme Free的，它就没有什么架构。再一个就是我们的h type，在这里它的一个使用场景，首先它要去解决单机的瓶颈，并且它有这种实时分析的需求，以及跨省跨国的这种数据中心，那么以及说我们数据技术服务的一个需求。
在这我们来看一下单机瓶颈这块，我们说在当今的互联网和大数据时代是坚决不能够有的，因为有这个的话将会增加我们大量的一个房子延迟跟业务的效率。那么实时分析这一块，我们说传统的业务需要将数据加载到后台，然后再去分析，那么这个会有延迟。那么我们现在通过htap的数据库，我们可以去做到这种无需等待的数据实时分析，那么以及说我们传统的这种数据中心，它是做数据复制到备份的方案，这种会比较造价高，而我们的h type去支持分布式的事物，通过简单配置即可实现多数据中心百分百的同步。
那么再有说说我们的用户往往是因为数据的类型，存储量和计算能力的不足，需要去投入大量的资源去做扩充升级。那么我们的htype那么在这里的话，我们就是真正的云数据库，这种图形的监控管，这样的自动恢复，从包括我们的滚动升级，使得说我们的数据及服务的体现的淋漓尽致。
那么再一个就是我们一体机了，一体机首先我们可以去避免掉你这种机房故障，像这个风险主要是说我们业务是需要7×34小时运行，但是你机器老出故障，比如说网络老师中断，那么怎么去解决这个问题？
主要就是说我们通过这样的一些同城高可用，那么Tdata它主要是解决金融的行业，像在拥抱云计算潮流所面临的一些痛点。比如说物理机它用高可用高性能低延迟这种服务去助力用户去做创新，自动化快速部署，应用这样的一些扩展的能力，使得说管理起来成本会比较低。
那么我们来看这样一个两地三中心的方案，那么同城的备库，异地的备库，也就是说同城，然后同城咱们采取实时的同步，那么异地咱们采取异步的同步。那么这个的话就说我们会实现两地三中心这样一些容灾的方案，但是这些所有的工作都不是由我们去完成的，我们直接去在网页中去下载我们的命令。
再一个就是我们的数据传输服务的应用场景有哪些？像我们在数据库上，我们说语音数据库的异地灾备，那么再就是把本地的数据库给迁到云上，或者说我们他本地的数据库有问题，我们直接要做数据的归档存。
那么第一个就是说我们的云数据库的异地灾备，我们毕竟说这个也是怕单个地域之间它有什么问题，那么这个时候我们就需要做一些容灾的考虑，我们就通过dts做数据传输，那么故障的时候你可以快速去接到另外一个地方去，那么这样的话他机房之间的传输默认它就会存在这样一些问题，这样存在一定的延迟，激发之后获取不到最新的数据等等。‘
而现在我们通过dts是就可以完美的去解决这个问题。像我们的业务都是cdb所以他通过腾讯云的高速内网去做实时同步完全没有问题。刚才说的延迟，然后咱们这些抖动获取不到新的数据，这个完全就不会存在的。
再有一个就是说我们的数据迁移的上云，我们在本地机房有时候用，我们在云上买了cdb做一个扩充，有几种办法，一种的话就是说你在本地导出，然后在云上导入，再做一些实时的增量的更新。但是这种操作非常复杂，而且工作量非常大，而且还容易遗漏。
那么现在说我们有了这样一些GPS之后，那么用户只需要做什么事情？我们在网页中去做数据的订阅，我们在网易中选择我要迁移好的选择本地，然后把本地的IP然后密码输上去，然后我们的dts就开始去做迁移，然后把数据迁移到我们云数据库，那么我们就可以在cvm上直接使用咱们的数据。
这个就说本地的机房容灾，我这个要求是7×24小时运行，但是我觉得我机房可能会断电。那么出现非预期的事件，那么这个时候我需要把本地的数据库给他在云上也有一个副本，比如说我要再去做一个机房，又觉得预算不够是吧？存在单点故障怎么解决非常好的一个方案，就是在云上一个副本，比如说这样的一个方案，那么本地的数据中心是主要的实力，当我们本地数据中心断网断电，那么这个时候用户就直接访问云上的环境就行了。因为云上的环境它也拥有一个实时的备份，所以我们会看到下面的主库备库，然后通过我们的dts去传输到我们云上，云上的图库和被控制电。
那么再一个就是说我们的数据归档，数据归档那么就直接理解我们，咱们定期把咱们的运营商的数据库给它做一些在线的归档。但是我们知道首先你是要定期的去操作，而且数据量非常大，耗时耗力，那么我们就可以去使用咱们的一些数据归档的存储。我们来看一下用户通过负载均衡反应到云服务器，然后再挂接到咱们的数据库上。其实这个方案我们产生了大量的一些数据，通过dts数据订阅的方式就可以定期的我们就不再需要人工去操作了。然后会有一个自动化的。
分布式HTAP数据库使用场景有哪些？A.单机瓶颈B.实时分析C.金融级跨数据中心D.数据即服务
ABCD
如果客户需要使用Oracle数据库管理系统，可以选择腾讯云的哪个数据库服务？A.DCDB B.HTAP C.TDSQL D.数据库一体机TData
D
在游戏开发过程中，版本迭代快，修改数据建库表结构的情形较多，鉴于此场景，选择腾讯云的哪个数据库产品可以较好地适应游戏开发任务？A.MongoDBB.MySQLC.数据库一体机TdataD.Redis
A
第四节太长了（晚点更新吧（老拖延症了
制作不易，既然都看到这里了，不妨点个赞吧^ ^