Softmax 和 交叉熵

假如有两个数,a和b,并且a>b,如果取max,那么就直接取a,没有第二种可能


 

但有的时候我不想这样,因为这样会造成分值小的那个饥饿。所以我希望分值大的那一项经常取到,分值小的那一项也偶尔可以取到,那么我用softmax就可以了 现在还是a和b,a>b,如果我们取按照softmax来计算取a和b的概率,那a的softmax值大于b的,所以a会经常取到,而b也会偶尔取到,概率跟它们本来的大小有关。所以说不是max,而是 Soft max 那各自的概率究竟是多少呢,我们下面就来具体看一下

定义

假设我们有一个数组,V,Vi表示V中的第i个元素,那么这个元素的Softmax值就是

也就是说,是该元素的指数,与所有元素指数和的比值

这个定义可以说非常的直观,当然除了直观朴素好理解以外,它还有更多的优点

1.计算与标注样本的差距

在神经网络的计算当中,我们经常需要计算按照神经网络的正向传播计算的分数S1,和按照正确标注计算的分数S2,之间的差距,计算Loss,才能应用反向传播。Loss定义为交叉熵


 

用交叉熵来描述两者之间的关联度

括号内的Softmax取值在 (0,1]

负号取过来,取倒数,则L函数的取值在[0,很大)

如果Softmax越大,L越小。说明分号上下的值越接近,

说明衰减越小,


 


 


 


 

取log里面的值就是这组数据正确分类的Softmax值,它占的比重越大,这个样本的Loss也就越小,这种定义符合我们的要求


 


 

SVM只选自己喜欢的男神,Softmax把所有备胎全部拉出来评分,最后还归一化一下


 

关于SVM 和MLP

发表评论

电子邮件地址不会被公开。 必填项已用*标注