项目背景：国资尾部券商，迫于 CIO 想出 AI 相关成绩，遂需采购 gpu server 。只做 llm 推理 不做调优 可能会放若干个 rag 系统上去。
考虑到以下几点有些犹豫：
1.证监会现对券商有要求，每年新投入的软硬件预算有信创指标（今年 20%-30%？逐年递增）。gpu 预算在总预算中只占 4%左右
2.目前在谈的有华为和中科曙光的产品 中科曙光 Z100 型号单卡性能相当于 V100 60%-70%， 华为的产品还没有了解性能。
3.从自身出发，nvidia 不论是开发还是跑开源应用还是能方便很多。
4.此次立项标题可能是‘算力资源建设’，所以要考虑后续新增 gpu 的拓展性。
5.价格上中科曙光 Z100 8 卡 gpu 应该是 30 多万，我们的预算 150 万左右，需要测试环境生产环境至少各一台。
考虑到以下几点有些犹豫：
1.证监会现对券商有要求，每年新投入的软硬件预算有信创指标（今年 20%-30%？逐年递增）。gpu 预算在总预算中只占 4%左右
2.目前在谈的有华为和中科曙光的产品 中科曙光 Z100 型号单卡性能相当于 V100 60%-70%， 华为的产品还没有了解性能。
3.从自身出发，nvidia 不论是开发还是跑开源应用还是能方便很多。
4.此次立项标题可能是‘算力资源建设’，所以要考虑后续新增 gpu 的拓展性。
5.价格上中科曙光 Z100 8 卡 gpu 应该是 30 多万，我们的预算 150 万左右，需要测试环境生产环境至少各一台。
20 条回复 • 2024-04-27 10:48:33 +08:00
 |
1
wetalk 9 天前
既然上头有要求，就按照要求来，剩下的 80%采购 nvidia
|
 |
2
crazychang OP @wetalk 我可能没说清楚 总预算不只是 gpu 预算 gpu 总预算需要有 20%-30%购买信创产品，gpu 预算只占 4%左右，也就是那 150 万。所以其实是个二选一的处境。
|
 |
3
renmu 9 天前 via Android
如果你是领导就买信创，不是就买英伟达
|
 |
4
tangtang369 9 天前
研发用肯定英伟达
|
 |
5
YGHMXFAL 9 天前
不是政策要求谁愿意为信创买单啊
|
 |
6
feather12315 9 天前 via iPhone
领导让买啥买啥， 不用犹豫不用纠结。
|
 |
7
jlkm2010 9 天前
考虑后续新增 gpu 的拓展性，那还是选国产算力卡吧，昇腾 910B 性能更强一些
|
 |
8
kongyiji 9 天前 via iPhone
那肯定是信创了，还要质疑？
|
 |
9
sakilascott 9 天前 via Android
你有权利做这个决定吗？
如果有，那肯定是谁的返点多买谁的。 如果没有，别瞎操心了。 |
 |
10
zaizaizai2333 9 天前
英伟达你能买到 V100 嘛？
灰色路径买到的，一旦被定位、发现，会被锁卡。 无论买啥，兼容 PyTorch 的最重要了，生态能给你用卡省不少事情。 |
 |
11
minami 9 天前
这个所谓的 Z100 ，是不是 AMD 那边买的技术。。。
|
 |
12
unknowsll 9 天前  1
1 、大陆使用被禁售的卡，会有被远程锁卡的风险措施； 2 、这个事情估计你拍不了板，还是领导定吧，因为涉及这种金额的事情，都属于江湖，而江湖不是打打杀杀，江湖是人情世故。
|
 |
13
thep 9 天前
不用纠结肯定信创，早用早舒心，省的折腾。
|
 |
14
wzbrbj 9 天前
我记得我听过一期播客，他讲做信创的公司都已经给你想好解决办法了，外壳是搞的信创的设备，实际 GPU 都是用的英伟达的。
2 个都要买的，信创的买了给领导看的，英伟达的才是真正干活的。找个信创的公司说你有什么什么需求，能不能满足。 |
 |
15
ntedshen 9 天前 1
不是怎么远程锁卡这种神奇的论调都出现了。。。
甚至明明都分不清哪张卡是哪张。。。 “8 卡 gpu 应该是 30 多万” 显卡的预算就算三万一张？ 首先得搞清楚 v100 不是 a100 ，v100 就是个古代卡，家用 20 系一代的。。。 16g 的 v100 散装现在四千带票五千就可以买到，32g 的倒是要三万，但是主要是因为大显存贵，不是算力贵。。。 单论硬件规格这东西基本也就和一个 2080ti 差不多，除了 fp32 。。。 所以买 v100 的主要理由应该是你的需求真的需要在八张卡的限定内搞定 256g 显存，算力实际上没有被考虑。。。 而这“Z100 型号单卡性能相当于 V100 60%-70%”，这个百分比想来也是算力的差距。。。 但是当你开始考虑 v100 的时候其实已经意味着你没在考虑算力了。。。 于是乎结论应当是你要只吃显存那信创随便买。。。 要要求算力可以去买 v100 ，但是总的来讲属于咸鱼之选。。。 题外话的。。。 a100 国行是不好买不过 a800 最近卖的挺火。。。 我司来了好几台 nf5280m6 。。。 非要说显存价格比确实是不如 v100 ，甚至 cpu 的双路 xeongold 没能打过家用 12900k 。。。 但是至少是个新卡。。。 |
 |
16
BMAO 9 天前
国企里面优先考虑风险吧
|
 |
17
n0bin0bita 9 天前
@ntedshen 不懂就问，A100 真的会锁卡吗？具体形式或原理是啥样的，公司在阿里云上买了 A100 ，阿里云是有什么特权还是有什么小动作，他对外出租显卡，不会吃传票吗，真心好奇求解答
|
|
18
ntedshen 9 天前
@n0bin0bita 这谁提你问谁啊，就一张卡我还好奇他怎么锁呢。。。
传说中的 intel on demand 也就只是硬件解锁，谁家单一硬件搞加锁的，又不是 switch 。。。 |
|
19
zaizaizai2333 9 天前
|
|
20
ntedshen 8 天前
|
Select Language