V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
suqiuluck
V2EX  ›  Windows

AI 需求,主机配置推荐, 2024 年准备 all in AI

  •  3
     
  •   suqiuluck · 2024-03-08 09:34:54 +08:00 · 22469 次点击
    这是一个创建于 403 天前的主题,其中的信息可能已经有所发展或是发生改变。

    网上看到这套配置,值得入吗大佬们,你们都是啥配置的,显卡值得上 4090 吗? CPU:Intel 13400F 主板:华硕 B660M 重炮手 显卡:七彩虹战斧 RTX4060Ti 16GB 内存:光威 3200Hz 16G×2 固态:三星 990PRO 1TB 电源:酷冷 GX650 散热器:利民 PA120 SE 机箱:先马鲁班 1

    130 条回复    2024-03-11 10:19:22 +08:00
    1  2  
    fannas
        101
    fannas  
       2024-03-08 15:18:13 +08:00 via iPhone
    直接买云服务比较划算
    Bluecoda
        102
    Bluecoda  
       2024-03-08 15:29:29 +08:00
    这有啥用?外面租个有专业显卡的机器不香?更不用说现在还有 groq ?你那个破 4060 ,还一张,能干啥?
    Mistral 7B 跑在 groq ~480 tokens/s $0.27(Price per 1M Tokens)的价格,不比你这小机器香?

    玩游戏就好好玩游戏好了
    ohuo
        103
    ohuo  
       2024-03-08 15:29:48 +08:00
    @suqiuluck 目前用的 2080TI SD 一般的模型都没啥问题,一般 5S 一张图吧。准备再去魔改一下,应该可以玩常见的所有模型吧
    shockingFly
        104
    shockingFly  
       2024-03-08 15:41:54 +08:00
    就这,你 all in AI ?
    PeneceaQwQ
        105
    PeneceaQwQ  
       2024-03-08 15:56:21 +08:00   ❤️ 1
    虽然但是,看你这个描述就是图一乐的需求
    纯图一乐版:p102 ,加显存版,三五百
    进阶图一乐版:2080ti 魔改 22g 显存,记得别买涡轮卡的,猛禽、七彩虹、微星都行,两三千
    进阶 pro 版:4060Ti ,16g 显存
    富哥图一乐版:4090 ,24g 显存,一两万


    SD 的实测速度,一个插件测的,各用户传的:
    https://vladmandic.github.io/sd-extension-system-info/pages/benchmark.html
    PeneceaQwQ
        106
    PeneceaQwQ  
       2024-03-08 15:57:51 +08:00
    @chesha1 #89 autodl 得避开毕业季,最近一水做毕设的,天天占满了,偶尔才能蹲到
    zhangdp
        107
    zhangdp  
       2024-03-08 16:23:17 +08:00
    All in ???这配置玩游戏都算是入门的。。
    Hansee
        108
    Hansee  
       2024-03-08 16:27:33 +08:00 via Android   ❤️ 1
    4060 肯定是不够的,我现在 4090 都不够。
    Cpu 也太低了,至少 i7 吧。
    硬盘也不够,模型都很大。我本地模型七七八八都快 2T 了。
    内存也不够。
    你这个是配来打游戏的吧。
    logic159
        109
    logic159  
       2024-03-08 16:29:29 +08:00
    @esile #94 我的不是因为运行过程中高温炸的,是为了清灰搬机箱的时候放地上就炸了,目前已经换成了防尘网
    suqiuluck
        110
    suqiuluck  
    OP
       2024-03-08 16:52:03 +08:00
    @Hansee #108 富哥,你电脑配置是不是 2w 了
    suqiuluck
        111
    suqiuluck  
    OP
       2024-03-08 16:52:13 +08:00
    @zhangdp #107
    suqiuluck
        112
    suqiuluck  
    OP
       2024-03-08 16:52:40 +08:00
    @PeneceaQwQ #105 这个测速不错,可以参考下
    suqiuluck
        113
    suqiuluck  
    OP
       2024-03-08 16:52:56 +08:00
    @shockingFly #104 图一乐
    suqiuluck
        114
    suqiuluck  
    OP
       2024-03-08 16:54:03 +08:00
    @xjhou00007 #98 get 了
    shm7
        115
    shm7  
       2024-03-08 17:15:48 +08:00
    这配置 乍一看 我还以为是 4 年前的帖子...
    73cn4XL4Ufv3V65L
        116
    73cn4XL4Ufv3V65L  
       2024-03-08 17:44:07 +08:00
    直接买服务器吧
    MadDoggy
        117
    MadDoggy  
       2024-03-08 17:56:33 +08:00
    借楼问下 4060ti16g 有啥推荐的牌子吗
    c4fun
        118
    c4fun  
       2024-03-08 18:18:53 +08:00
    这配置只能说浅尝辄止,离 All In 差远了。

    4090 卡主表示单卡训 LoRA 都吃力,现在一直在想两张卡,一张训练一张推理。
    xieren58
        119
    xieren58  
       2024-03-08 18:32:06 +08:00
    没个几十万, 玩不起...
    anjingdexiaocai
        120
    anjingdexiaocai  
       2024-03-08 18:35:15 +08:00 via Android
    魔改 2080ti 大显存貌似可以
    Betsy
        121
    Betsy  
       2024-03-08 18:50:16 +08:00 via iPhone
    借楼问下,哪个大模型可以在个人 pc 上玩一下,主要想体验下完整的大模型训练过程。
    hepin1989
        122
    hepin1989  
       2024-03-08 21:51:41 +08:00
    你好,不是应该用 MacStudio 顶配?据说跑 SD 起来更快。
    momo1pm
        123
    momo1pm  
       2024-03-08 21:55:14 +08:00 via Android
    你这打游戏醒置,或者说打游戏都不够顶配
    momo1pm
        124
    momo1pm  
       2024-03-08 22:05:06 +08:00 via Android
    @suqiuluck 打游戏顶配都不止两万
    gaozizhong
        125
    gaozizhong  
       2024-03-08 22:06:13 +08:00   ❤️ 1
    ALL IN AI 不一定要先搞装备,切记差生文具多
    crackhopper
        126
    crackhopper  
       2024-03-08 22:22:44 +08:00
    我个人预判还能凑合跑一些图(仅仅做一些推断),但应该比较慢。

    4070 ti super 我用着的话还可以,不过那个机器只用来跑图,不做别的。4090 ,我也入手了,4090 可以勉强做一些 LoRA 微调。主要点:机箱弄大点,方便后续添东西。电源功率高点,免得负载上不去。散热看情况弄,差了自然也是有问题的,不过那个主要看 CPU 负载。另外,GPU 卡都这么贵了,主板 CPU 内存也得上来吧,要不然 IO 方面的瓶颈或者 CPU 不够导致性能发挥不足,岂不是浪费。总之,照着 2 万以上来配电脑可能更加好一些,别想着太便宜了。(如果 4090 ,照着 2.5 万以上配吧)

    至于全量训练啥的,就别想了,不是个人玩得起的,至少 8 卡吧。
    unbridle
        127
    unbridle  
       2024-03-08 22:29:18 +08:00 via iPhone
    玩游戏可以 ddr4 ,跑算法最好还是上 ddr5
    lunafreya
        128
    lunafreya  
       2024-03-09 05:21:30 +08:00 via iPhone
    @Betsy 玩 inference 不难,training 难。
    我从零训练过 DiT, 用了 64 个 A100 大概 0.27s 传一次梯度,20000 步能出能用的图,但是 1M 分辨率的图像最好还是来个 1M 步,整个流程 train 一次如果用 aws 大概是 40 万刀。这还没算 VQGAN encoder/decoder 的训练开销
    kneo
        129
    kneo  
       2024-03-09 09:23:19 +08:00 via Android
    all in ai ,然后了,买个 4060 画图?想玩玩画图就画图呗,别扯什么 all in 了
    sampeng
        130
    sampeng  
       2024-03-11 10:19:22 +08:00
    想玩游戏你就直说。。。
    1  2  
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1376 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 17:18 · PVG 01:18 · LAX 10:18 · JFK 13:18
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.