请问做 LLM 背景的人应该长什么样?

[dayeye2006199]

现在市场上有好多找做 LLM 背景人的坑。 我好奇这样背景的人和普通做 NLP 的人有什么主要的差异吗？

例如我这样的水货背景

• 3 年前搞过一点 NLP ，会做常见的一些 task （分类、问答、翻译什么的）。最近几年的进展都没怎么跟了。
• 明白古早版本的 bert ，transformer ，gpt 都是怎么工作的。
• 知道 language model 是怎么弄出来的（ large 的没碰过）
• 知道多机多卡的训练怎么写
• 会用一些已有推理框架 onnx ，tensorrt 什么的捣鼓捣鼓模型上线

我可以大言不惭的说自己也是 LLM 背景的人吗？还是会被打回原型？

[glfpes]

LLM 出来才多久？市面上现在做这个方向的正是这个行业的第一批人。各种背景的都有，NLP 的居多。

只有做过 LLM 的，才可以说自己有相关背景

[Cynicsss]

这个是不是只能说有 nlp 背景，不能说有 llm 背景吧(🤣

[Ocean810975]

我怀疑绝大多数说自己有 LLM 背景的人大概率也就是这半年才上手的

[LaurelHarmon]

train 过？

[dayeye2006199]

@LaurelHarmon 只 train 过 lm ，没弄过 llm

[kenvix]

@LaurelHarmon train LLM 有点要求高了，大多数我们这种小作坊实验室都没可能搞

[vToExer]

也想问这个问题，失业求职后感觉此类岗位要求和普通 nlp 不太匹配，不知自学填坑是否可行

[MrGba2z]

虽然到处说的都是 LLM
但是很多时候大部分人 /企业在做的是 prompt engineering （非贬义）或者是 LLM 周边项目
prompt engineering 见效快回报率高， 周边项目走不同赛道但依旧搭 LLM 的顺风车。huggingface 上就有很多案例
这些人的背景差别还是挺大的

我认识的研究主力研究 LLM 的人，基本上每个礼拜都会看一篇最近的论文，然后每个月分享 10~30 件最近业界的进展和知识。

现在这个赛道发展太快，能看懂别人的研究然后来应用到自己的场景，我觉得就是一个合格的 LLM 人了。 （比如看了 https://arxiv.org/pdf/2305.15717.pdf 可能就直接放弃用 imitation 去做 distillation 的想法，避免浪费时间等）

---
当然如果你是指创造 transformer 这种级别的背景人的话，那当我上面没说。

[OysterQAQ]

感觉 LLM 不管是数据集构建还是训练流程都是需要一些特定经验的 但是很明显一般的公司没有能力提供这个场景

[WuSiYu]

可能需要对大规模（分布式）训练 /推理有了解吧

[wqzjk393]

先掌握工程思维，再去纠结算法背景，大模型往往对工程化的要求比算法功底要强的多

[jetyang]

如果真会分布式训练，就可以说自己搞过 LLM ，可以当面给别人复现大参数量羊驼的分布式训练