vForum 2017视频回看的地址 以及 vSAN架构细节(4) - 磁盘格式
【编者按】
10月27日,VMware中国一年一度的盛会vForum 2017落下帷幕,感谢您的参与。很高兴看到分会场二:软件定义存储与超融合,有许多的朋友亲临现场,还有超过1200多人参加了线上的直播。需要回看大会及各个分会场视频的朋友,可以关注 VMware中国 微信公众号,选择右下角的菜单 "vForum"。进入后,打开"会议直播",输入您注册时用的帐号(Email地址),选择您感兴趣的分会场,满载干货的,3个多小时的直播视频就扑面而来了 : )
本篇文章讲述有关磁盘格式方面的内容,摘自《vSAN权威指南(第2版)》,经译者徐炯授权。
上几期分别是:
《留言点赞获赠书 | vSAN架构细节(5) - vSAN I/O流》
除了译者徐炯之外,还有细心的一位读者"江湖一孤猪" 也发现了缺失《vSAN架构细节(4) 》,今天补上。并赠书《VMware Virtual SAN权威指南(原书第2版)》一本,请这位朋友通过如下三种方式的一种:
1、微信私信
2、或者 乐生活与爱IT 微信公众号的后台
2、或者通过加我的QQ号: 9269216
告诉我您所在单位/公司名称,您的职位、姓名、手机号和邮寄地址。如果方便,也欢迎告知你的微信号。另外上周末的 留言点赞获赠书 还继续有效,截止10月29日 22:00。根据点赞数量排序或者留言价值,您如果觉得很有希望获取赠书,也可以提前按照上述三种方式的一种提前告知您的详细信息 : )
在《5.4 磁盘格式》的文章后面,我还根据VMware的官方文档,补充了四点内容:
1、磁盘格式和vSAN版本功能的对应表格
2、磁盘格式版本和容量开销
3、磁盘格式的在线升级
4、推荐一个VMware vSAN文档大集合的网址
---Begin---
5.4 磁盘格式
在研究不同I/O相关的数据流之前,让我们来简要地聊一聊VSAN的磁盘格式(On-diskFormat)。
5.4.1 缓存设备
VMware对vSAN缓存层中的闪存设备使用其私有的磁盘格式。在同时具有读缓冲和写缓存的混合配置vSAN中,闪存设备的读缓冲部分具有其自己的磁盘格式,而写缓存部分则另有一种日志结构的格式。而全闪存vSAN只有写缓存,没有读缓冲。这两种格式都是新的和特别设计的,用来在闪存设备固件提供的基本功能之外增加其耐久能力。
5.4.2 容量设备
可能会令某些人惊讶的是,VMware在最初的vSAN 5.5上使用VMFS作为磁盘格式。不过这不是传统的VMFS,而是vSAN特有的一个新格式,叫做VMFS Local (VMFS-L)。VMFS-L是vSAN中每台ESXi主机的本地存储的磁盘文件系统的格式。标准的VMFS文件系统是特别为群集环境设计的,多台主机可以共享一个数据存储。它不是为单主机/本地磁盘环境设计的,而且肯定不是为分布式数据存储设计的。对于分布式存储来说,就要用到VMFS-L了。首先,群集的磁盘锁定及其相关联的VMFS心跳被移除了。这些功能仅在多台主机共享文件系统的时候才需要用到,而在单主机的时候是不需要的。现在新的锁管理器(Lock Manager)取代了在卷上设定SCSI预留(SCSI reservation)来锁定元数据的方法,完全不再需要使用SCSI预留了。VMFS-L也不再需要磁盘心跳机制了,现在只需要简单地更新一下内存中的心跳副本(因为其他主机无需知道这个锁)就足够了。测试显示,通过这些变化,VMFS-L置备磁盘的所需要的时间只有标准VMFS的一半。
vSAN 6.0引入了一种新的磁盘格式,它基于VMware收购的一家名为Virsto公司开发的VirstoFS,一种高性能的稀疏文件系统。作为v2格式,它提高了vSAN 6.0快照(通过新的vsanSparse格式)和克隆的性能。用户可以通过无缝滚动升级过程从VMFS-L (v1)升级到VSAN FS (v2)。这种升级过程依次将每台主机的磁盘组中的内容清空并移动到群集中的其他地方,然后将主机上的磁盘组移除并重建生成新的v2磁盘格式,然后重复这一过程直到所有的磁盘组都升级完毕。
到了vSAN 6.2,为了满足新的特性和功能要求(例如去重、压缩和校验和),引入了另一种磁盘格式(v3)。它还是基于VSAN FS(也可以简写为VSANFS)的,不过为了支持这些新功能添加了额外的特性。
---End---
延伸阅读:
《留言点赞获赠书 | vSAN架构细节(5) - vSAN I/O流》
如果想要购买《VMware Virtual SAN权威指南(原书第2版)》,可以前去京东网站:
https://item.jd.com/12145233.html
下面围绕着磁盘格式,做出几点补充。
一、磁盘格式和vSAN版本功能的对应表格
为了让大家对磁盘格式对应的vSAN版本和功能有一个清晰的了解,下面整理了一个表格。
磁盘格式版本 |
vSphere |
vSAN |
功能 |
1.0 |
vSphere 5.5 Update 1, Update 2, 和 Update 3. |
5.5 |
容许的故障数量(FTT), 每个对象的磁盘条带数, 对象空间预留, 闪存读缓预留, 强制调配 |
2.0 |
vSphere 6.0 |
6.0 |
全闪存, 支持32个快照 |
2.0 |
vSphere 6.0 Update 1. |
6.1 |
延伸集群 (也即vSAN双活) |
3.0 |
vSphere 6.0 Update 2. vSphere 6.0 Update 3. |
6.2 |
去重, 压缩, 纠删码(RAID 5,6), IOPS限制(QoS), 软件校验和 |
3.0 |
vSphere 6.5. |
6.5 |
iSCSI, ROBO网络直连 |
5.0 |
vSphere 6.5 + Patch ESXi650-201704001 |
6.6 |
静态数据加密(Data-at-Rest), 具有本地故障保护能力的延伸集群(Stretched Cluster with Local Failure Protection , PFTT + SFTT) |
从vSAN 6.6开始,在标准版就已经支持全闪存了。如果不启用去重压缩和纠删码的话,用户购买标准版即可。
其实vSAN的三个版本的差异还是比较容易记忆的。在vSAN 6.6只要记住:
vSAN Enterprise企业版比vSAN Advanced高级版多了两个功能:
1、具有本地故障保护能力的延伸集群;
2、静态数据加密
而vSAN Advanced高级版比vSAN Standard高级版多了两个功能:
1、去重和压缩(仅限全闪存)
2、纠删码 - RAID 5/6(仅限全闪存)
详细可参见:https://www.vmware.com/cn/products/vsan.html
二、磁盘格式版本和容量开销
不过需要注意的是,相对于磁盘格式的开销,当我们在规划磁盘容量的时候,影响因素更大的是如下三个:
1、 FTT的值
例如,默认情况下FTT=1,则按照50%的存储利用率来计算;如果启用了纠删码(RAID 5 或6),则按照75%或66.7%的存储利用率来计算。
2、预留 30% 的可用容量
根据《VMware Virtual SAN Design and Sizing Guide》的建议:如果可以,VMware 建议在vSAN数据存储中留 30% 的可用容量。预留空间余量的原因是,当磁盘达到 80% 的完整阈值时,vSAN开始自动重新平衡。理想情况下,我们希望配置比 80% 的阈值少 10%。因此,建议预留 30% 的可用容量。
3、7%的损耗(所有盘都面临的情况)
厂商的1TB标准下硬盘实际容量=1000的3次方/1024的3次方=931.323 GB
也就是说,实际计算大概按照再乘以93%
三、磁盘格式的在线升级
使用vSphere Web Client 升级vSAN的磁盘格式
仔细看上图,你会发现VMware还提供了一个非常友好的功能:Pre-check Upgrade,可以在升级前预先检查是否具备升级的条件。
详细内容参见《VSAN 6.6管理指南》的第82页到第86页。想要下载该pdf文件的朋友,可以遵守QQ群公告,加入 软件定义存储讨论群 - 122295009 ,进去下载相关文件。在这个文件里,还可以了解到:升级磁盘格式时的注意事项、前提条件,如何使用RVC升级vSAN的磁盘格式。
四、推荐一个VMware vSAN文档大集合的网址
https://storagehub.vmware.com/
------
微信公众号平台"乐生活与爱IT"在目前阶段,主要是分享软件定义存储(SDS),及VMware VSAN相关的文章,偶尔也会分享虚拟化、云计算、大数据,甚至生活类的好文章。欢迎投稿,特别是原创文章,我的QQ号:9269216。
投稿一经采用并发布,获得的赞赏收入,作者可获得60%。投稿可微信私信我,或者通过QQ号 9269216联系我。
欢迎对SDS感兴趣的朋友,加入软件定义存储讨论 QQ群:122295009,可下载原创的一些文章,及其他有参考价值的文档。可直接搜索群号,或者扫描如下二维码:
同时,欢迎您加入 "开放讨论群-SDS&虚拟化" 微信群,并邀请其他对SDS和虚拟化感兴趣的朋友加入此微信群。可以通过添加如下管理员之一的微信号,建议添加管理员时,告知你的公司名和姓名,方便备注保存。
sdg8848
libo9538
yangzhuan
dts0103
欢迎您通过扫描关注微信公众号:“乐生活与爱IT”。
关注后,可以通过点击左下角的“文章目录”,通过输入三位数(记住!是三位数,目前第一位是0或者1)详细了解如何查看历史文章。
点击左下角“阅读原文”,可以看到vForum 2017大会的各个视频。