微信存储系统如何应对每分钟百亿级的挑战?
微信存储系统如何应对每分钟百亿级的挑战?
原创: 郑建军 ArchSummit 5月8日
微信 PaxosStore 是一个分布式存储系统,创新的无租约 Paxos 工程实现,实现三园区多主多写,任意角色宕机时系统无需切换周期,真正实现实时可用,平滑服务。
PaxosStore 广泛支撑微信在线应用,峰值过亿 TPS,运行在数千台服务器上。PaxosStore 在数据分区内部提供完整的串行 ACID 语义,支持键值 / 队列 / 集合等数据结构以及二维表,单表可超亿行并提供 SQL 接口支持业务快速开发,通过跨园区数据中心间的同步复制提供强一致性和高可用性。
该系统在 2017 年除夕夜实践中,平稳应对百亿级每分钟的挑战。
演讲大纲
-
项目背景:微信业务的存储需求、技术难点、系统方案;
-
PaxosStore 系统设计:一致性协议层、存储引擎层、一致性协议与存储结合;
-
业务支持:微信消息、朋友圈、好友关系链等,包括红包业务。
听众受益
-
理解 PaxosStore 存储架构;
-
PaxosStore 研发中的经验教训。
视频
【略】
本视频来自腾讯的高级工程师郑建军在 ArchSummit 的分享 。公众号后台回复关键词「微信」下载完整演讲 PPT。
节选 PPT
公众号后台回复关键词「微信」下载完整幻灯片。
作者介绍
郑建军(RockZheng),腾讯高级工程师。
负责微信基础存储的研发。2014 年加入微信后台团队,参与了多个大型分布式系统的架构设计和研发工作,其中作为微信核心存储 PaxosStore 主创人员之一,对微信核心存储系统(消息、朋友圈、好友关系链等)进行升级改造,提升了服务的可用性和数据的安全性。
ArchSummit 2018 深圳站
ArchSummit 日程出炉 & 限时9折报名!
本次大会邀请了微信技术架构部专家工程师、微信资源调度 Yard 平台和微信流量实验 X 平台负责人 文杰 前来分享《揭秘微信背后万级机器的管理者 Yard 平台设计》。
大会其他演讲嘉宾如下:
-
Apple:机器学习专家
-
Google:推荐系统负责人
-
Facebook : Tech Lead
-
Pinterest:大数据及机器学习平台负责人
-
Netflix:首席软件工程师
-
IBM:高级技术委员会成员
-
手机 QQ:运维负责人
-
腾讯:金融风控业务研发负责人
-
天猫:智慧门店架构师
-
微博:算法总监
-
余额宝:移动首席架构师
-
微众银行:区块链首席架构师
-
前特斯拉 视觉深度学习负责人
-
...
目前 ArchSummit 限时9折报名,识别二维码或点击 阅读原文 可了解大会日程。