V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
0x4F5DA2
V2EX  ›  问与答

实验室深度学习服务器采购求建议

  •  
  •   0x4F5DA2 · 2020-10-11 18:01:34 +08:00 · 2457 次点击
    这是一个创建于 1508 天前的主题,其中的信息可能已经有所发展或是发生改变。

    实验室打算采购一批深度学习服务器,预算 17-18 万的样子。前两天按照先前的想法弄了一个 8 卡的机架式服务器。到货之后一开机,噪声像是要起飞了一样,根本没有办法在实验室放。导师打听了学院里有没有其他可以存放的地方,然而并没有。

    商家同意可以换别的,之后的计划是把一个大的服务器拆成几个小的台式机,每个台式机插 2-4 张卡。但是这样的话,管理起来就非常的麻烦,并且由于计算资源分布在各处,也比较容易造成资源的浪费(比如有的实验要两张卡,但是好几个机器只有一张卡闲置)。所以想要问一下各位大佬,对于现在的情况有没有什么好的解决办法。

    具体的需求的话,大概是下面的样子:

    • 在其他部分( CPU,内存)过得去的情况下,GPU 的数量尽可能多

    • 因为要放在实验室,所以噪声不能太大

    对于提供建设性意见的,会发个微信红包表示感谢。不会太大,只是表明一份心意。

    14 条回复    2020-10-12 07:44:41 +08:00
    zirconium
        1
    zirconium  
       2020-10-11 18:19:42 +08:00
    想问问老哥在哪里买的,现在买的话需要等 3080 吗。
    privil
        2
    privil  
       2020-10-11 18:22:21 +08:00
    大机器也可以换低速风扇的啊 = = 反正实验室开空调就好了。
    Liyiw
        3
    Liyiw  
       2020-10-11 18:22:32 +08:00
    @zirconium 不会还有人想买 2080 吧现在这个点。。
    Liyiw
        4
    Liyiw  
       2020-10-11 18:23:22 +08:00
    像 pytorch 这种也支持机器之间的分布式训练吧
    windyland
        5
    windyland  
       2020-10-11 18:35:40 +08:00 via Android
    你需要的是塔式服务器,而不是机架式,

    即使使用机架式,也不是没有解决办法,购买一个机柜,配好隔音棉,防尘网以及机柜风扇就可以很大程度的解决噪音,然后再买几百块的泡沫棉,留好散热口然后接上风扇,把机柜整体罩起来,注意设计好风道(局部热堆积)以及设计 S 型通风口(噪音)
    0x4F5DA2
        6
    0x4F5DA2  
    OP
       2020-10-11 18:37:46 +08:00   ❤️ 1
    @Liyiw 之前试过用千兆局域网多机多卡,同步梯度太慢了,训练慢了好几倍。要同时在几个机器上配环境也是很头大。万兆网可能好些(?)
    zirconium
        7
    zirconium  
       2020-10-11 19:34:55 +08:00
    @Liyiw #3 30 系买不到啊,怕拖不起
    0x4F5DA2
        8
    0x4F5DA2  
    OP
       2020-10-11 22:16:15 +08:00
    @windyland 之前了解过静音机柜,一个机柜说是功耗限制 2000w,一个 8 卡的服务器功耗就不止 2000w,所以。。。
    0x4F5DA2
        9
    0x4F5DA2  
    OP
       2020-10-11 22:28:18 +08:00
    @zirconium 参考了大佬的选购建议( https://mmcheng.net/dlm/
    1oNflow
        10
    1oNflow  
       2020-10-11 23:34:00 +08:00
    https://www.nvidia.cn/data-center/dgx-station/

    Nvidia 官方的服务器呢?四张 Tesla V100
    AnonymousM
        11
    AnonymousM  
       2020-10-12 04:41:16 +08:00 via Android
    @1oNflow 价格啊,dgx 都是真土豪才买的起的
    594duck
        12
    594duck  
       2020-10-12 07:16:25 +08:00 via iPhone
    这种服务器为什么不放在机房里?学校肯定有自建机房的,放在里边,IP 地址段授权访问不就好了

    风扇速度和功耗成正比。只要你计算任务跑起来,必然噪音巨大。噪音不巨大,你觉得热散的出来么
    594duck
        13
    594duck  
       2020-10-12 07:18:51 +08:00 via iPhone
    机架服务器风扇还用的是函道式风扇,6 个或者 8 个一排。转速 6000 。
    你可以想象一下慢速跑起来后,噪音赛过四轴飞行器
    wwqgtxx
        14
    wwqgtxx  
       2020-10-12 07:44:41 +08:00 via iPhone
    @594duck 学校的自建机房哪是一般实验室的导师能进得去的地方,写申请层层审批还不知道能不能通过,最后还不是在自己实验室找个角落放着
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2944 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 15:02 · PVG 23:02 · LAX 07:02 · JFK 10:02
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.