震惊！知名 AI 大公司竟做出这种事……

[boboliu]

早晨看到 Gemma2 的跑分就觉得不对，里面 llama3 那个 666 的 mmlu 太标志性了，抽空把这两个都跑了一遍 GSM-8K

谷歌这宣传资料很明显是用自家微调过的模型打 llama3 的基础模型，脸都不要了

全部 bench 都是原汁原味的 pytorch 运行，
gemma2 发了个 f32 的 base 我还用 f32 跑的，慢的想死

https://storage.googleapis.com/deepmind-media/gemma/gemma-2-report.pdf

有人跟我说谷歌在 report 里面有说是不是预训练模型成绩，我有点困了没找到，请诸君看一下吧

[5GA]

厉害，这事做的，都不知道该如何评价了

[Aven443]

nb

[Donaldo]

大厂嘛，不稀奇。。

[kaichen]

他这里有 5-shot 的标注耶，应该是没公开 prompt 的情况吧

[boboliu]

@kaichen 没有，5shot maj@1 本来就是 gsm-8k 常规的评估方法，即使受随机 icl 样本的影响，分数影响也不应该这么大

[NoOneNoBody]

9 天前没热度的帖子，怎么还置顶起来了？

[boboliu]

@NoOneNoBody 因为看到了 /t/1055707 ，突然想起来我也想吐槽谷歌，顺手顶一下

[yinmin]

Gemma2 9B 的翻译、文字总结不错。毕竟只有 9B ，STEM 类的肯定不行。Gemma2 9B 对硬件要求也不高，能部署在个人 PC 上。

在不连 Internet 的内网自己架一个私人 AI ，装上 Gemma2 9B 和 Qwen2 7B 处理些文字类、翻译类的工作，还是蛮好的。