探秘 | 节省万台DB的背后--腾讯如何做海量数据的精细运营?

探秘 | 节省万台DB的背后--腾讯如何做海量数据的精细运营?

随着web2.0的快速发展,非关系型、分布式数据存储得到了快速的发展,它们不保证关系数据的ACID特性。NoSQL概念在2009年被提了出来。NoSQL最常见的解释是“non-relational”,“Not Only SQL”也被很多人接受。(“NoSQL”一词最早于1998年被用于一个轻量级的关系数据库的名字。)

NoSQL被我们用得最多的当数key-value存储,当然还有其他的文档型的、列存储、图型数据库、xml数据库等。在NoSQL概念提出之前,这些数据库就被用于各种系统当中,但是却很少用于web互联网应用。比如cdb、qdbm、bdb数据库。

本次数据库技术大会,我们有幸邀请到了来自腾讯、百度、新浪等大型互联网公司的技术专家为我们分享关于NoSQL技术进展。

专场8: NoSQL技术进展

5月12日下午,我们特设了专场8: NoSQL技术进展,主要就节省万台DB的背后--我们怎么做海量数据的精细运营百度在线用户数据服务系统新浪Redis运维实践网易游戏MongoDB数据备份与恢复实践MongoDB高并发调优实践等5个议题展开讨论与分享。

2017第八届中国数据库技术大会(DTCC2017)将于2017年5月11-13日,历时3天,汇集来自互联网、电子商务、金融、电信、*、行业协会等20多个领域的120多位技术专家,共同探讨Oracle、MySQL、NoSQL、云端数据库、智能数据平台、区块链、数据可视化、深度学习等领域的前瞻性热点话题与技术。

探秘 | 节省万台DB的背后--腾讯如何做海量数据的精细运营?

探秘 | 节省万台DB的背后--腾讯如何做海量数据的精细运营?

大会共设定2大主场和21个技术专场,将吸引5000多名IT人士参会,为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供最具价值的交流平台。

专场8: NoSQL技术进展

5月12日 下午13:30-18:00

探秘 | 节省万台DB的背后--腾讯如何做海量数据的精细运营?

王懂道 

腾讯科技高级运维工程师

节省万台DB的背后--我们怎么做海量数据的精细运营

5月12日下午13:30-14:20

演讲简介:

腾讯社交网络NoSQL存储发展迅速,内存存储量年增40%,DB设备已经达到2万多台,给运营成本和存储合理性带来了极大挑战。本次议题也旨在分享我们在成本和存储合理性的优化上,所做的一些事情,包括自动采集业务存储属性细节,制定冷热分离策略,冷数据下沉和上升,自动调整内存碎片,让存储在快速发展的同时也具备较高的合理性,从而达到成本节省的目的。本次分享内容:腾讯社交网络NoSQL存储的类型和结构;NoSQL数据快速发展带来的挑战;数据属性挖掘——数据冷热分离的基础;自动化冷数据下沉——数据冷热分离的实现;自动化碎片整理——提高内存使用合理性;

探秘 | 节省万台DB的背后--腾讯如何做海量数据的精细运营?

杨嘉义 

百度大数据部在线数据服务团队架构师

百度在线用户数据服务系统

5月12日下午14:20-15:10

演讲简介:

这个演讲主要是向大家介绍百度的一套服务在线大规模用户数据的数据库系统,这个系统具备高性能高并发,异地多活,具备执行 function 的查询层。

探秘 | 节省万台DB的背后--腾讯如何做海量数据的精细运营?

赵景波 

新浪网数据系统服务平台DBA

新浪Redis运维实践

5月12日下午15:10-16:00

演讲简介:

在业务发展的早期,新浪的Redis服务更多的是考虑如何更快的满足业务的资源申请需求,而忽视了平台自身的规范建设以及对业务使用Redis的「姿势」约束。本次分享主要是聊聊在随着业务规模壮大,运维过程中暴露出来越来越多的问题时,我们是从哪些方面去规范、完善Redis运维平台。同时,我们还会给大家分享一下核心业务运维过程中遇到的一些痛点问题,以及我们如何通过Redis Cluster以及自研的Redis Cluster Proxy来解决这些问题的。

探秘 | 节省万台DB的背后--腾讯如何做海量数据的精细运营?

郑良榉

网易游戏DBA

网易游戏MongoDB数据备份与恢复实践

5月12日下午16:20-17:10

演讲简介:

目前,MongoDB已广泛应用于网易游戏内部产品,包括手游、端游数据中心以及其他内部产品等等,在产品迭代过程中难免需要对数据进行扫档、合并等操作,合理有效的数据备份和恢复尤为重要,本次分享主要从MongoDB在网易游戏的应用情况,结合实际需求,谈谈MongoDB数据备份和恢复的实践历程,包括备份策略、恢复方案以及自动化流程等方面。

探秘 | 节省万台DB的背后--腾讯如何做海量数据的精细运营?

张耀星

MongoDB大中华区高级咨询顾问

MongoDB高并发调优实践

5月12日下午17:10-18:00

演讲简介:

MongoDB 3.0开始推出了Storage Engine API及新一代存储引擎WiredTiger。相较MMAPv1,WiredTiger在性能上已经有大规模的提升。如何在高并发环境下进一步挖掘MongoDB的性能,让你的应用从容应对海量数据和超高并发的应用场景?本讲座将带您了解更多MongoDB调优实践及效果评测。

5月12日大会议程预告

探秘 | 节省万台DB的背后--腾讯如何做海量数据的精细运营?

扫码查看,大会3天完整议程

探秘 | 节省万台DB的背后--腾讯如何做海量数据的精细运营?