V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
lisisi
V2EX  ›  机器学习

ReLU 函数在 x> 0 的时候也是线性的,套 ReLU 函数是怎么实现激活作用的?

  •  
  •   lisisi · 3 天前 · 430 次点击

    神经网络每一层节点输出值,都要套一层非线性激活函数。现在使用较多的激活函数 ReLU 激活函数在 x > 0 的时候也是线性的,并且是 y=x ,这能起到“线性”=>“非线性”的作用吗?不太理解 ReLU 是怎么实现激活作用的

    4 条回复    2024-12-23 09:15:21 +08:00
    GuuJiang
        1
    GuuJiang  
       3 天前 via iPhone   ❤️ 3
    线性指的是全定义域线性,有分段就已经是非线性了,更进一步地说,ReLU 的行为跟生物的神经网络也比较接近,即需要超过某个阈值后才导通
    565656
        2
    565656  
       3 天前   ❤️ 1
    如果全部节点都是 y=x ,确实是线性的,但是不会这样,总会有一部分<0 的,这样就不是线性了
    greyfox
        3
    greyfox  
       3 天前 via Android   ❤️ 1
    x>0 时,y=x ,即激活,x<0 时,y=0 ,即不激活,相当于在 x=0 处拐了个弯,就是非线性了
    sanebow
        4
    sanebow  
       2 天前 via iPhone
    线性的定义是对于任意 x 和 y ,f(a*x + b*y) = a*f(x) + b*f(y)。比如假设 a=b=1 ,随便找一个负数 x 和正数 y 带入,你就会发现 ReLU 不满足上面等式了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2997 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 19ms · UTC 14:03 · PVG 22:03 · LAX 06:03 · JFK 09:03
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.