ML Op AF Sigmoid

[junxnone]

sigmoid

• Sigmoid Function == Logistic Function
• 二分类时 sigmoid 和 softmax 等价

Name	应用	输出
sigmoid	- 二分类 - 多标签分类/Multi-Label	一个或多个 0∼1 范围内的概率值
softmax	- 多分类	在 classes_num 个不同输出类别上的概率分布

Sigmoid

• 输出: [0, 1]
• 二分类中, 将输入的 feature 映射到 [0,1]
• $sigmoid(x)= \frac{1}{1 + e^{-x}} = \frac{e^{x}}{e^{x} + 1} = 1 - sigmoid(-x)$

Name	公式	Figure
sigmoid	$sigmoid(x)= \frac{1}{1 + e^{-x}}$

二分类时 sigmoid 和 softmax 等价

Name	Formula
sigmoid	$sigmoid(x)= \frac{1}{1 + e^{-x}}$
softmax	$softmax(\vec{z}){i}=\frac{e^{z{i}}}{\sum_{j=1}^{K}e^{z_{i}}}$

• 当 二分类时 Vector = [x, 0]

$softmax(\vec{z}){1}=\frac{e^{z{1}}}{e^{z_{1}} + e^{z_{2}}}=\frac{e^{x}}{e^{x} + e^{0}}=\frac{e^{x}}{e^{x} + 1}=\frac{1}{1+e^{-x} }$

对比

• Sigmoid 与 Softmax 完全等价
• Sigmoid 与 Softmax 分类器的权值可以相互转换
• Softmax 会比 Sigmoid 浪费 2 倍的权值空间

Reference

• http://neuralnetworksanddeeplearning.com/chap3.html#softmax
• logistic函数和softmax函数
• 详解sigmoid与softmax， 多分类及多标签分类
• Keras - Softmax 与 Sigmoid 二分类问题分析
• Keras深度学习笔记(三)：神经网络入门
• sigmoid_and_softmax.ipynb
• 一文详解Softmax函数
• Softmax Function - deepai.org