Intel测试报告:NVMe SSD构建全闪存架构vSAN-单节点高达15万IOPS
【编者按】
文章末尾揭晓 赠书 | 容器技术怎样用存储? 获得赠书的读者。
---本篇文章导读---
VMware vSAN是一款灵活的超融合软件,得益于vSphere成熟而且广泛的生态链,vSAN支持至少14种不同的服务器品牌,拥有至少160多个经过预先认证的 vSAN 就绪节点(Ready Nodes)。另一重要的信息是,由于VMware在私有云无可争议的王者地位,许多新硬件技术出现,都希望能尽快通过vSphere或vSAN的认证。因此,相比传统外置磁盘阵列,vSAN能在较早的时间兼容新的硬件技术。原来有SATA/SAS SSD,后来又有PCIe SSD和NVMe SSD,未来会有NVDIMM SSD(性能将达到SAS SSD的3~6倍)。
如果用户的业务应用是IOPS密集型,可以考虑采用NVMe SSD。关于vSAN的性能细节,可以参考:
VSAN性能剖析及超融合架构性能测试工具-HCIBench简介 & 资料下载
如何选择NVMe SSD,可以参考如下步骤:
一、打开vSAN HCL
http://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsan
如果上面的地址难记,可以采用我的同事-苏旭提供的,非常容易记忆的网址(兼容性 的全拼):
http://www.jianrongxing.com/
进入后,打开位于网页右边,中部位置的
Build Your Own based on Certified Components
二、
1、选择SSD
2、选择NVMe
3、可以选择,也可以不选择。此处Endurance表示耐久性,也即SSD的寿命。
4、可以,也可以不选择。此处Performance表示性能,指SSD每秒写次数。
---Begin---
在VMworld 2015,Intel发布了世界上第一套以NVMe为缓存层,SATA SSD为容量层构建的64节点全闪存Virtual SAN集群性能数据。通过使用Intel最新的NVMe SSD,64节点的全闪存Virtual SAN IOPS性能达到了令人难以置信的670万IOPS,单节点的IOPS突破了10万。
那么问题来了,在VMware Virtual SAN 6.2增加了对去重,压缩以及纠删码的支持以后,是否进一步提高Virtual SAN的性价比与可用性?
Intel的测试结果表明,全NVMe闪存构建的Virtual SAN 6.2与VMworld 2015发布的测试数据相比,获得了50%的性能提升。此外,在同样的业务场景下启用去重/压缩功能后Virtual SAN的实际容量使用率提升了多达7倍。
为什么使用NVMe? NVMe 全称 Non-Volatile Memory Express,即非易失性存储。NVMe 设备以标准尺寸的PCI Express扩展卡的形式直接面向PCI-E接口,原生与CPU直接连接,而不是传统方式,通过南桥控制器中转,再连接到CPU。这在很大程度上突破了SATA与SAS在传输接口上的瓶颈,降低了控制器和软件接口部分的延迟。
此外,理论上IOPS=队列深度/IO延迟,故IOPS的性能与队列深度有很大关系。传统的SSD最大队列深度一般不超过128,而NVM而标准下,最大队列深度可达64000。因此,理论上采用NVMe接口的SSD性能相比传统接口会有成百上千倍的提高。如图一、二所示,我们在同样的测试环境下分别使用不同类型接口的SSD进行存储性能测试,使用NVMe作为传输接口的SSD在随机IOPS以及顺序带宽上相比传统的SAS与SATA接口都有成倍的性能提升。
图一 NVMe与传统传输接口的存储性能对比(随机IOPS)
图二 NVMe与传统传输接口的存储性能对比(顺序带宽)
VMware在Virtual SAN 6.2中加入了对NVMe设备的支持,这使得在全闪存架构中使用全NVMe闪存成为可能。 全NVMe闪存Virtual SAN集群 全NVMe闪存Virtual SAN集群由8台SuperMicro服务器组成,每台服务器的具体配置信息如下: 双路Intel Xeon E5-2687Wv4(12核@3.0Ghz) 256GB DDR4内存 Virtual SAN节点由4个磁盘组构成,每个磁盘组的信息如下:
1x Intel SSD DC P3700系列(800GB, 2.5’’)
5x Intel SSD DC P3520系列(2000GB, 2.5’’)
高性能模式:关闭去重/压缩,只启用镜像模式RAID 1
平衡模式:启用去重/压缩,启用镜像模式RAID 1
高容量模式:启用去重/压缩,启用纠删码RAID 5
高可用性模式:启用去重/压缩,启用纠删码RAID 6
为了便于对比,我们将高性能模式做为测试基准。在测试中,我们在Virtual SAN数据存储上部署了2000台Windows 2012 R2虚拟机,每台虚拟机的具体配置如下:
虚拟硬件配置 |
具体参数 |
CPU |
1 vCPU |
内存 |
4GB |
OS盘 |
40GB精简置备 |
数据盘 |
10GB厚置备 |
测试的工作负载由业界标准存储性能测试工具生成。每次测试运行3小时,以确保实际性能数据真实有效。
测试结果 经过测试,8节点全NVMe闪存架构Virtual SAN的平均IOPS达到了难以置信的120万,这意味着平均每个节点的IOPS达到了破纪录的15万!相比先前全闪存配置单节点的10万IOPS增加了50%!
图三 8节点全NVMe闪存架构Virtual SAN集群在不同模式下的性能
如图三所示,在基准的高性能模式下,整个Virtual SAN集群的4K 100%全读IOPS达到了最大值120万,在4K 70/30读写模型可达到90万;在平衡模式下,IOPS为基准的89%,但却多出了额外250%的实际可用容量;在高容量模式下,4K 70/30读写模型的IOPS为基准的55%,而4K全读的IOPS为基准的78%。但是实际的有效可用容量比基准模式增加了376%;在RAID 6的高可用性模式下,4K 70/30读写模型IOPS为基准的41%,而4K全读的IOPS为基准的76%。但与此换来的是333%的实际可用容量和额外的组件故障情况下的数据可用性。
同样让人印象深刻的还有数据存储集群的构建成本,由于Virtual SAN 6.2针对全闪存新增的去重和压缩功能,实际有效容量增加了7倍,实际每GB的成本从1.86美元下降到了0.25美元。
图四 不同配置模式下的数据可用性与成本开销
成本计算分为每GB成本,和每个I/O的成本,以美元计价。如图四所示,在基准的高性能模式下,实际每GB的成本为1.86美元,根据4K 100%全读计算出每个IOPS的I/O成本为0.23美元。与高性能模式的基准值相比较,在平衡模式下,实际每GB成本为0.37美元,I/O成本为0.25美元;在高容量模式下,实际每GB成本为0.25美元,I/O成本为0.29美元;在高可用性模式下,实际每GB成本为0.28美元,I/O成本为0.29美元。 总结 虽然在测试中我们将Virtual SAN配置为四种不同的模式分别进行了性能测试和存储成本比较。但是在实际的生产测试环境中,通过Virtual SAN基于存储策略的管理(Storage Policy Based Management,SPBM)可以针对不同的业务应用需求对虚拟机的VMDK在线应用不同的存储策略。这使得用户在投入相同成本的前提下,可以在高性能、高容量、高可用性之间获得最佳的平衡。
由于Virtual SAN本身具有优异的横向扩展能力,通过使用NVMe SSD构建全闪存架构Virtual SAN,可以使用户使用更少的节点获得所需的集群存储性能。此外,单节点15万IOPS的线性存储性能提升也帮助用户在横向扩展Virtual SAN集群存储性能时变得更加简洁迅速。 说明 本文内容由VMware中国研发中心存储与高可用性事业部Virtual SAN解决方案团队(Product Enablement, PE)丁楠根据VMworld主题演讲整理发布。Virtual SAN解决方案团队致力于向客户提供最佳的Virtual SAN与行业关键应用融合解决方案,并承担Virtual SAN产品、技术和解决方案在中国地区的推广与技术支撑任务。
---End---
微信公众号平台"乐生活与爱IT"在目前阶段,主要是分享软件定义存储(SDS),及VMware VSAN相关的文章,偶尔也会分享虚拟化、云计算、大数据,甚至生活类的好文章。欢迎投稿,我的QQ号:9269216。欢迎对SDS感兴趣的朋友,加入软件定义存储讨论 QQ群:122295009,可下载原创的一些文章,及其他有参考价值的文档。可直接搜索群号,或者扫描如下二维码:
同时,欢迎您加入 "开放讨论群-SDS&虚拟化" 微信群,并邀请其他对SDS和虚拟化感兴趣的朋友加入此微信群。可以通过添加如下管理员之一的微信号,建议添加管理员时,告知你的公司名和姓名,方便备注保存。
sdg8848
libo9538
yangzhuan
dts0103
欢迎您通过扫描关注微信公众号:“乐生活与爱IT”。
关注后,可以通过点击左下角的“文章目录”,通过输入三位数(记住!是三位数,目前第一位是0或者1)详细了解如何查看历史文章。
---备注---
上期 《赠书 | 容器技术怎样用存储?》获得赠书的朋友是 “白丁。”,请在后台和我联系。
---推荐书籍---
更多业务应用的性能数据,以及最佳实践,可以到VMware研发中心新出的《Virtual SAN最佳实践》里找到。打开左下角的“阅读原文”,即可跳转到京东网站购买vSAN最佳实践书籍