【直击DTCC】华泰证券分布式数据库演进之路
2016年5月12日-14日，第七届中国数据库技术大会 (DTCC 2016)在北京国际会议中心拉开帷幕。作为国内数据库与大数据领域最大规模的技术盛宴，在为期三天的会议中，大会将围绕MySQL、NoSQL、 Oracle、缓存技术、云端数据库、智能数据平台、大数据安全、数据治理、大数据和开源、大数据创业、大数据深度学习等领域的前瞻性热点话题与技术展开 深入探讨，并邀请一大批国内顶尖的技术专家来进行分享，以满足广大从业人士和行业用户的迫切需要。
本届是大会创办以来，规模最大，参会人次、参展合作伙伴最多的一次盛会，云集了来自五湖四海的5000余名IT精英，相聚在这里，共话数据库技术发展潮流， 共赴大数据浪潮之巅。我们来到了“数据库技术前瞻”专场，华泰集团数据架构师管文琦进行了题为《华泰证券分布式数据库演进之路》的主题演讲。
嘉宾介绍
管文琦，华泰证券集团数据架构师， MySQL及中间件负责人。目前主要负责华泰证券全公司的数据库转型工作，在数据库运维领域发表多篇专业论文。
技术转型的背景
管文琦先介绍了华泰集团技术转型的背景：
1、移动互联网转型，未来大部分业务将依赖移动互联网展开，原有架构面临挑战。公司移动互联网相关业务的基础架构将全面转型。
2、公司今后的新项目将使用开源构架。
对于金融行业来说使用开源MySQL数据代替原有的传统商业数据库至少面临三个挑战：
1、高可用性是否降低：传统的MySQL容灾方案是否适用于金融行业。
2、数据库的效率是否达到要求：MySQL作为轻量级数据库，当效率不及传统商业数据库时，用什么手段去弥补。
3、处理能力：MySQL数据不支持高性能IBM小型机，当处理能力达到一台PC服务器处理上限后，如何较为快捷的进行能力提升。
现有技术方案介绍
管文琦在介绍了在以上的挑战后，又介绍了当前的技术方案：
1、 引入分布式数据库中间件
通过数据库中间件实现分库分表，解决当数据量较大时，数据库的SQL处理效率问题相对较慢的问题，同时通过数据库中间件实现读写分离，实现性能扩展。
分布式数据库中间件：实现了 MySQL 协议的 Server，前端用户可以把它看作是一个数据库代理，用 MySQL 客户端工具和命令行访问；而后端数据库中间件可以用 MySQL 原生（Native）协议与多个 MySQL 服务器通信。 其核心功能是分表分库，即将一个大表水平分割为 N 个小表，存储在后端 MySQL 服务器里或者其他数据库里。
分库分表概念：把一张数据量很大的表中的数据按照一定的规则水平分散到多个不同的数据库或者表中
数据库中间件运行过程是：它拦截了用户发送过来的 SQL 语句，首先对 SQL 语句做了一些特定的分析：如分片分析、路由分析、读写分离分析、缓存分析等，然后将此 SQL 发往后端的真实数据库，并将返回的结果做适当的处理，最终再返回给用户。
2、引入Galera Cluster集群技术
在华泰集团另外一个和其他互联网公司在解决方案上，显著不同的是：选用在业内使用不太普遍的Galera Cluster集群作为容灾方案。
原因：互联网行业普遍使用的主从复制等技术，不太适合直接使用在金融系统的场景中。Galera Cluster集群技术特点是：节点之间数据保持同步；每个节点都可以提供读写访问；故障切换时间短；支持Innodb数据引擎等。
华泰集团通过研究及根据积累的经验，合理使用Galera Cluster 集群技术，目前使用Galera Cluster 集群作为解决方案的线上系统，在线数据量已经达到1TB，白天日间交易期间，大约每秒增删改DML操作3000左右，运行稳定。
基于新开源技术的高可用方案研究与实践
管文琦介绍，纵观全行业，现有的MySQL成熟的高可用技术不能完全满足金融证券行业各种场景的要求。包括前面介绍过的Galera在部分场景也存在缺点，我们希望有保证数据高可用的同时，数据库性能不降低的方案。华泰集团投入人力进行新技术的预研，取得成果，解决路径如下：
1、RDMA等开源技术的引入
RDMA通过网络把资料直接传入计算机的存储区，将数据从一个系统快速移动到远程系统存储器中，而不对操作系统造成任何影响。我们利用SRP和ISER 协议把iSCSI协议的命令和数据通过RDMA的方式跑到InfiniBand网络上，从而得到高带宽，低延时的数据传输。逻辑结构如下图所示。
2、华泰证券集团将此项技术经过多项专项改造应用到MySQL高可用架构中，能够实现在MySQL节点发生灾难时，保证数据完全不丢失的，同时数据库处理能力几乎没有降低。
3、此项技术已经在华泰集团内部测试环境中投入使用，计划在今年对性能要求较高的线上系统上进行尝试实施，目前这种技术在全行业尚没有见公开报道。
关注大会官方公众号，获取更多详情！
↓↓↓