大咖齐聚SACC:共论分布式存储的演进之道
10月17日到19日,由IT168旗下ITPUB企业社区平台主办的第十届中国系统架构师大会(SACC 2018)在北京隆重举行。本届大会主题为“十年架构,成长之路”,聚集了上千名CTO、研发总监、高级系统架构师、开发工程师和IT经理等技术人,共同展开IT技术领域的深度分享与问题探讨。
在17日下午的“主线1:分布式存储与中间件设计”分论坛上,多位来自知名厂商及互联网公司的IT负责人、技术专家现身说法,分享了各自在分布式存储方面的技术实践经验,并现场为大家答疑解惑,探讨技术问题。
滴滴出行正为数亿名用户提供着包括快车、专车、出租车在内的多种出行和运输服务,日订单已达3000万。在这样一个庞大的业务规模下,存储自然成为一个重大的问题。滴滴对象存储系统当前已存储百亿级文件,PB级数据。
滴滴出行高级技术专家汪黎
在论坛上,滴滴出行高级技术专家、滴滴云存储研发负责人汪黎进行了《滴滴对象存储系统的架构演进实践》主题演讲,介绍了滴滴对象存储系统随着业务规模的增大,业务需求的改变,其架构的演进过程和设计考虑。
第二位进行分享的是京东商城在线存储部负责人丁俊,介绍了京东K-V存储产品从内存存储到持久化存储,从持久化存储到基于K-V持久化存储开发的分布式锁、配置分发产品。据介绍K-V存储体系下包含内存存储-jimdb、持久化存储-sharkstore以及混合存储三大部分。
京东商城在线存储部负责人丁俊
三大部分具有各自不同的特性,内存存储主要表现为高吞吐、低延迟,拥有在线伸缩、自动故障恢复以及广域复制等功能;持久化存储具有分布式强一致,支持在线分裂、自动故障恢复,支持schema、海量数据,支持范围查询、单表操作等核心特性;混合存储可实现冷热数据存储分离,提供内存级别的性能体验,磁盘级别的存储容量。
在把大量原始数据转化为有用信息和行动的所用时间减少到零的需求驱动下,流媒体技术开始变得流行起来:在数据到达时,即时地、连续地、无限地处理数据。从工业物联网到联网汽车,再到实时欺诈检测等等,需要快速响应用户行为的应用程序越来越广泛。但我们目前使用的组件并不是为这些应用设计的,而且其作用机制不会实现从小到大的扩展,基本系统设计的不匹配带来了更高的复杂度。
Streamlio联合创始人郭斯杰
流是难以扩展的,因为它假定了许多破坏性的系统功能,例如将数据视为连续的和无限的,而不是有限的和静态的,通过动态扩展服务、存储和计算能力,以协调到达的数据量,交付一致的快速结果的能力。那么,对于流媒体,我们到底需要什么分布式存储呢?Streamlio联合创始人郭斯杰在论坛上带来了《从文件存储,对象存储到流存储 - 重新思考流计算时代的分布式存储》主题演讲,探讨了用例驱动下的分布式存储系统的演变,以及流媒体世界对分布式存储的需求。此外,郭斯杰老师还使用Apache Pulsar/BookKeeper作为示例,讨论了如何设计此类系统应对挑战。
最后一位进行技术分享的是来自阿里云的资深技术专家徐立,他是阿里云文件存储的产品和研发负责人,拥有近十年的阿里云飞天分布式存储系统的架构和研发经验。徐立的演讲主题为《新一代Cloud Native文件存储的分布式架构演进之路》,他从协议多样性、安全可靠、高性能和共享、弹性易用、企业级特性、生态创新6个维度介绍了当下新一代文件存储技术架构演进变革之路。
阿里云资深技术专家徐立
据徐立介绍,新一代Cloud Native文件存储的主要特性包括:简单易用——完全托管,即开即用,只需挂载标准的文件协议;弹性使用——按需使用,无缝扩容;高可扩展——容量、性能水平扩展,面向互联网分布式架构;高性能——性能和容量线性相关,低延时、高IOPS、高吞吐。阿里云文件存储,可提供简单、快速、高效的数据迁移能力,拥有多种数据接入方式以及最佳挂载方式,通过访问行为可视化的云监控功能和简单易用、完全托管、可靠安全的备份功能,帮助用户完成端到端的最佳实践。