你有一份超详细的深度学习装机指南等待认领!(下篇)
硬盘/固态硬盘SSD
一般硬盘无法限制我们的深度学习任务的运行,但我们也不能因此小看了硬盘的作用。假设我们从硬盘中读取数据的速度是100MB/s,那加载一个32张ImageNet图片构成的mini-batch,要用185毫秒。
相反,如果在使用数据前异步获取数据,将在185毫秒内加载这些mini-batch的数据,而ImageNet上大多数神经网络的计算时间约为200毫秒。即在计算状态中加载下一个mini-batch,性能将不会有任何损失。
我们推荐的是SSD,因为选择SSD效率和舒适度都可以照顾到。和普通硬盘相比,SSD的启动和响应速度更快,大文件的预处理更是要快很多。顶配的就是NVMe SSD,比一般SSD更流畅。
电源PSU
随着GPU的更新换代,一个优质的PSU能够经得起时间的考验。我们对电源的基础要求是能满足各种GPU所需的能量。那PSU应该怎么选?
在这分享一个计算方法:将电脑CPU和GPU的功率相加,再加上额外的10%的功率作为其他组件的能耗,就能得到功率的最大值。
举个栗子:你有4个GPU,每个功率250瓦,加上一个功率150瓦的CPU,那电源要提供4×250+150+100=1250瓦的电量。在此基础上再加10%,那就是1375瓦。所以可以得出,电源的性能要达到1400瓦。
还有一点需要我们注意,即便一个PSU达到了所需的瓦数,也可能缺少足够的PCIe 8-pin或6-pin的接头,所以我们在采购时要确保电源上有充足的接头能接GPU。
此外,记得买一个能效等级高的电源,尤其是你需要连很多GPU且需要长期运行工作时。再举个栗子:假设以以满功率(1000-1500瓦)运行4 GPU系统、花两周时间训练一个卷积神经网络,需要耗用300-500度电,消耗电费折合人民币约455-766元。如果将电源效率降到80%,电费则增加140-203元左右。需要的GPU数量越多,数值差距越明显。嘿嘿,PSU的挑选是比我们之前想象的情况要复杂吧?
CPU和GPU的冷却
对容易发热的CPU和GPU来讲,如果其散热性不佳,会导致其性能降低。对CPU来说,标配的散热器或是AIO水冷散热器都是不错的选择。但GPU应该用哪种散热方式,是个复杂的问题。
风冷散热
风冷对单个的GPU是可以的,但如果你的GPU多达3-4个,光靠空气冷却那可不行。目前GPU会在运行算法时将速度提到最大,所以功耗也会达到最大值。而一旦温度超过80℃,则会导致速度降低,无法实现最佳性能。
这种现象对于深度学习任务来说更是常见,一般的散热风扇是远远达不到降温效果的,通常运行几秒钟就会达到温度阈值。如果是用多个GPU,性能会降低10%-25%。
那该怎么办?眼下很多英伟达的GPU都是针对游戏设计开发的,所以也针对Windows系统进行了专门的优化,也可以轻松设置风扇方案。但在Linux系统中这招就不能用了,麻烦的是,很多深度学习库也都是针对Linux编写的。这个问题存在,但并不是无解。
在Linux系统中,我们可以进行Xorg服务器的配置,选择“coolbits”选项,这对单个GPU还是很有用。如果是多个GPU,就要模拟一个监视器。我们试了不少,但没什么改进。如果想在冷空气环境中运行3-4个小时,则应该需要重视风扇的设计。
目前市面上的散热风扇的原理大致两类:鼓风式的风扇将热空气从机箱背面推出从而让冷空气流入;非鼓风式的风扇在GPU中吸入冷空气以达到冷却的效果。
所以,如果你有多个GPU彼此相邻,那周围就缺少冷空气可用,所以在这种情况下就不一定需要非鼓风式的散热风扇了。该用什么呢?可用考虑水冷散热。
水冷散热
虽然此方法比风冷法略贵,但可以用在多个GPU相邻的地方,能使四个最强劲的GPU保持低温状态,这是风冷法无法达到的效果。
而且水冷散热法更安静,在公共区域运行多个GPU,水冷的优势更为明显。至于说成本问题,水冷单个GPU要花大约690元,再加上些额外的费用约350左右。还有就是得花点时间去组装计算机,不过这也不复杂,网上教程非常多,几个小时就能轻松搞定,后期维护也简单。
总结一下就是,单个GPU用风冷,多个GPU的情况,鼓风式的空气冷却可能会导致10%-15%的性能损耗,但是更划算。当然如果你追求散热的极致效果,水冷散热最佳而且不会制造噪音。所以风冷或水冷都可以,关键看你的实际情况和预算。
主板
主板该配有足够的PCIe插槽来支持所需的GPU数量。注意,大多数显卡宽度需要占用两个PCIe插槽。如果要使用多个GPU则要购买PCIe插槽之间有足够空间的主板,以确保显卡之间不会相互遮挡。
机箱
在选择机箱时,要保证机箱能装下主板顶部的全长GPU。一般情况下大部分机箱是没问题的,但是如果你买小了,能不能退换就得看商家说了算了。所以买之前最好确认下机箱的尺寸大小,看下机箱装好GPU的图,这样也能放心点。
另外,如果你要定制水冷的话,要确保买的机箱能装下散热器,尤其是在给GPU用定制水冷的时候,因为每个GPU的散热器都要占空间。
显示器
可能有人会说,选显示器这么简单还用说?那时当然...用的啊。
多配台显示器是作为一个成熟的技术人员的标配。不然你想,这么多内容挤到同一个小屏幕里来回切换,那多累人?