SIGMOID函数的意义?

神经网络中的SIGMOID函数的意义?


 

神经网络中的激活函数,其作用就是引入非线性。具体的非线性形式,则有多种选择。

sigmoid的优点在于输出范围有限,所以数据在传递的过程中不容易发散。当然也有相应的缺点,就是饱和的时候梯度太小。

sigmoid还有一个优点是输出范围为(0, 1),所以可以用作输出层,输出表示概率。


 


 

一种可能解释是如果对binary RBM的能量函数定义的概率分布求marginal(或者conditional),那么隐变量和显变量的marginal(或者conditional)就是sigmoid形式…

sigmoid在指数函数族(Exponential Family)里面是标准的bernoulli marginal,而exponential family是一个给定数据最大熵的函数族,在线性产生式模型(generative model)里面是属于「最优」的一类。直观理解是熵大的模型比熵小的更健壮(robust),受数据噪声影响小。

不过神经网络如果说最大熵就相当于是硬拉亲戚了。。


 

编辑于 2016-01-21


 

张金超

自然语言处理,机器翻译


 

我觉得可以从无穷级数的角度去理解,指数函数的无穷级数是各种分量的高阶组合。sigmoid中有指数项,且导数形式好,值域也好。


 

发布于 2016-07-24


 

匿名用户


 

因为Sigmoid的函数性质和神经学的神经元的突触一致,而且好求导。


 

发布于 2016-02-09


 

王彩玲

是有联系的,而且在很多的层面上。Sigmoid函数也是高斯分布的和,而高斯又是随机变量的和,世界本源也是随机的,大量的随机似乎有时候显示出一些规律,其实也是中心极限,这也是最大信息熵的来源,基础都是和费马原理。而要证明费马原理,证明费马原理,就需要证明可微可导的问题,那从哲学上,就需要说明人类认识的线性特征,这样就涉及到神经元对世界的反应方式。。。。这样就实现了循环证明,说明是自洽的


 

发布于 2016-10-18


 

高志华

不会写段子的厨子不是一个好的程序员


 

求导容易噻,反向传播多爽

编辑于 2017-04-29


 

Homunculus

装逼与打击装逼者是我上知乎的乐趣


 

哪有那么多玄乎的东西,不过是一个两头平中间陡,值域是0到1,关于0,1/2对称的函数罢了。就一个经验的东西,你选arctanx也一样用


 

发布于 2017-04-04


 

侍世腾

活到老,学到老


 

单向递增,输出在0-1之间


 

发布于 2016-05-04

发表评论

电子邮件地址不会被公开。 必填项已用*标注