在神经网络中容易出现梯度爆炸的问题，有的地方说是可以用 relu 激活函数来解决，用起来也确实有效果，有点想不通这里面的原理是什么呢？
alixali · 2018-10-23 16:15:06 +08:00 · 2724 次点击这是一个创建于 2226 天前的主题，其中的信息可能已经有所发展或是发生改变。
 |
1
66450146 2018-10-23 18:04:49 +08:00  1
f'(x) = 1 就不会有 vanishing gradient 了😂
|
 |
2
alixali OP 这个问题在输入数据维度高的时候，和网络层数多的时候出现了，更像是和网络的节点数有关系。
|
Select Language