不同的魔法门有不同的规则,对应不同的激活函数:
ReLU 魔法门(ReLU 激活函数):
? 如果魔力值 ≥ 0,门会打开,让魔法师进入。
? 如果魔力值 < 0,门会彻底关闭,不让任何人进入。
比喻: 这就像一个严格的守卫,没有天赋的魔法师(负值输入)直接被拒绝,只允许优秀的魔法师进入。
Sigmoid 魔法门(Sigmoid 激活函数):
? 如果魔力值很高,门会完全打开(接近 1)。
? 如果魔力值很低,门会完全关闭(接近 0)。
? 如果魔力值一般,门会半开半闭(0~1 之间)。
比喻: 这就像一个温和的导师,会根据魔法师的天赋程度,决定“部分晋级”还是“完全晋级”。
Tanh 魔法门(Tanh 激活函数):
? 如果魔力值很高,门会完全打开(1)。
? 如果魔力值很低,门会完全关闭(-1)。
比喻: 这就像一个双向考核,既允许优秀的魔法师(正值)进入,也允许黑暗魔法师(负值)进入,而普通人(接近 0)则会被忽略。
3. 进入下一层(神经网络的深度学习)