V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
libasten
V2EX  ›  Local LLM

100 多号人的企业,想自己部署 deepseek,硬件要哪些?

  •  
  •   libasten · 7 天前 · 387 次点击
    硬件配置起步就要百万级 ?
    听说华为给的一揽子方案是 500 ,然后 nvidia 报价 200 。
    这个这么吃硬件?
    5 条回复    2025-03-11 21:11:25 +08:00
    sivacohan
        1
    sivacohan  
       7 天前
    单机功率 20kw ,电费也是大头。
    gether1ner
        2
    gether1ner  
       7 天前
    不考虑云端部署吗?
    HojiOShi
        3
    HojiOShi  
       6 天前 via Android
    不是,华为哪来的脸,报价比英伟达还贵。
    coefuqin
        4
    coefuqin  
       3 天前
    电费都够你们成本喝一壶了。
    tamshy
        5
    tamshy  
       3 天前
    成本大几十万差不多了吧,


    4. 本地部署方案
    硬件配置(单节点):
    中端配置:
    GPU:2×RTX 4090 ( 24G 显存)
    CPU:AMD Ryzen Threadripper 3970X ( 32 核)
    内存:128GB DDR4
    存储:2TB NVMe SSD + 10Gbps 网卡 910 。
    高端配置:
    GPU:4×NVIDIA H100 ( 80G 显存)
    CPU:双路 Intel Xeon Platinum 8480+( 112 核)
    内存:512GB DDR5
    存储:RAID 0 阵列( 4×4TB NVMe SSD ) 268
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   947 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 18ms · UTC 21:21 · PVG 05:21 · LAX 14:21 · JFK 17:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.