你有一份超详细的深度学习装机指南等待认领!(下篇)

  硬盘/固态硬盘SSD

  一般硬盘无法限制我们的深度学习任务的运行,但我们也不能因此小看了硬盘的作用。假设我们从硬盘中读取数据的速度是100MB/s,那加载一个32张ImageNet图片构成的mini-batch,要用185毫秒。

  相反,如果在使用数据前异步获取数据,将在185毫秒内加载这些mini-batch的数据,而ImageNet上大多数神经网络的计算时间约为200毫秒。即在计算状态中加载下一个mini-batch,性能将不会有任何损失。

  我们推荐的是SSD,因为选择SSD效率和舒适度都可以照顾到。和普通硬盘相比,SSD的启动和响应速度更快,大文件的预处理更是要快很多。顶配的就是NVMe SSD,比一般SSD更流畅。

你有一份超详细的深度学习装机指南等待认领!(下篇)

 

  电源PSU

  随着GPU的更新换代,一个优质的PSU能够经得起时间的考验。我们对电源的基础要求是能满足各种GPU所需的能量。那PSU应该怎么选?

  在这分享一个计算方法:将电脑CPU和GPU的功率相加,再加上额外的10%的功率作为其他组件的能耗,就能得到功率的最大值。

  举个栗子:你有4个GPU,每个功率250瓦,加上一个功率150瓦的CPU,那电源要提供4×250+150+100=1250瓦的电量。在此基础上再加10%,那就是1375瓦。所以可以得出,电源的性能要达到1400瓦。

  还有一点需要我们注意,即便一个PSU达到了所需的瓦数,也可能缺少足够的PCIe 8-pin或6-pin的接头,所以我们在采购时要确保电源上有充足的接头能接GPU。

  

你有一份超详细的深度学习装机指南等待认领!(下篇)

  此外,记得买一个能效等级高的电源,尤其是你需要连很多GPU且需要长期运行工作时。再举个栗子:假设以以满功率(1000-1500瓦)运行4 GPU系统、花两周时间训练一个卷积神经网络,需要耗用300-500度电,消耗电费折合人民币约455-766元。如果将电源效率降到80%,电费则增加140-203元左右。需要的GPU数量越多,数值差距越明显。嘿嘿,PSU的挑选是比我们之前想象的情况要复杂吧?

  CPU和GPU的冷却

  对容易发热的CPU和GPU来讲,如果其散热性不佳,会导致其性能降低。对CPU来说,标配的散热器或是AIO水冷散热器都是不错的选择。但GPU应该用哪种散热方式,是个复杂的问题。

  风冷散热

  风冷对单个的GPU是可以的,但如果你的GPU多达3-4个,光靠空气冷却那可不行。目前GPU会在运行算法时将速度提到最大,所以功耗也会达到最大值。而一旦温度超过80℃,则会导致速度降低,无法实现最佳性能。

  这种现象对于深度学习任务来说更是常见,一般的散热风扇是远远达不到降温效果的,通常运行几秒钟就会达到温度阈值。如果是用多个GPU,性能会降低10%-25%。

  那该怎么办?眼下很多英伟达的GPU都是针对游戏设计开发的,所以也针对Windows系统进行了专门的优化,也可以轻松设置风扇方案。但在Linux系统中这招就不能用了,麻烦的是,很多深度学习库也都是针对Linux编写的。这个问题存在,但并不是无解。

  在Linux系统中,我们可以进行Xorg服务器的配置,选择“coolbits”选项,这对单个GPU还是很有用。如果是多个GPU,就要模拟一个监视器。我们试了不少,但没什么改进。如果想在冷空气环境中运行3-4个小时,则应该需要重视风扇的设计。

  目前市面上的散热风扇的原理大致两类:鼓风式的风扇将热空气从机箱背面推出从而让冷空气流入;非鼓风式的风扇在GPU中吸入冷空气以达到冷却的效果。

  

你有一份超详细的深度学习装机指南等待认领!(下篇)

  所以,如果你有多个GPU彼此相邻,那周围就缺少冷空气可用,所以在这种情况下就不一定需要非鼓风式的散热风扇了。该用什么呢?可用考虑水冷散热。

  水冷散热

  虽然此方法比风冷法略贵,但可以用在多个GPU相邻的地方,能使四个最强劲的GPU保持低温状态,这是风冷法无法达到的效果。

  而且水冷散热法更安静,在公共区域运行多个GPU,水冷的优势更为明显。至于说成本问题,水冷单个GPU要花大约690元,再加上些额外的费用约350左右。还有就是得花点时间去组装计算机,不过这也不复杂,网上教程非常多,几个小时就能轻松搞定,后期维护也简单。

  总结一下就是,单个GPU用风冷,多个GPU的情况,鼓风式的空气冷却可能会导致10%-15%的性能损耗,但是更划算。当然如果你追求散热的极致效果,水冷散热最佳而且不会制造噪音。所以风冷或水冷都可以,关键看你的实际情况和预算。

  主板

  主板该配有足够的PCIe插槽来支持所需的GPU数量。注意,大多数显卡宽度需要占用两个PCIe插槽。如果要使用多个GPU则要购买PCIe插槽之间有足够空间的主板,以确保显卡之间不会相互遮挡。

  

你有一份超详细的深度学习装机指南等待认领!(下篇)

  机箱

  在选择机箱时,要保证机箱能装下主板顶部的全长GPU。一般情况下大部分机箱是没问题的,但是如果你买小了,能不能退换就得看商家说了算了。所以买之前最好确认下机箱的尺寸大小,看下机箱装好GPU的图,这样也能放心点。

  另外,如果你要定制水冷的话,要确保买的机箱能装下散热器,尤其是在给GPU用定制水冷的时候,因为每个GPU的散热器都要占空间。

  显示器

  可能有人会说,选显示器这么简单还用说?那时当然...用的啊。

你有一份超详细的深度学习装机指南等待认领!(下篇)

  多配台显示器是作为一个成熟的技术人员的标配。不然你想,这么多内容挤到同一个小屏幕里来回切换,那多累人?