BN 中一开始先进行归一化处理，然后使用 gamma 和 beta 调整，那为什么一开始不直接使用 gamma 和 beta 调整呢

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 538 天前的主题，其中的信息可能已经有所发展或是发生改变。

RT ，BN 中一开始先进行归一化处理，然后使用 gamma 和 beta 调整，那为什么一开始不直接使用 gamma 和 beta 调整呢

2 条回复

txhwind

2023-06-30 10:27:20 +08:00

方便描述和模型训练。实际推理部署的时候一般都是融合到一起了。

paidaxtis

2023-06-30 11:17:30 +08:00

归一化是归一化，gamma 和 beta 调整是 gamma 和 beta 调整。一开始直接使用不是跳过归一化了吗？