diff --git "a/\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/ML-A-\346\234\272\345\231\250\345\255\246\344\271\240\345\237\272\347\241\200.md" "b/A-\346\234\272\345\231\250\345\255\246\344\271\240/A-\346\234\272\345\231\250\345\255\246\344\271\240\345\237\272\347\241\200.md"
similarity index 90%
rename from "\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/ML-A-\346\234\272\345\231\250\345\255\246\344\271\240\345\237\272\347\241\200.md"
rename to "A-\346\234\272\345\231\250\345\255\246\344\271\240/A-\346\234\272\345\231\250\345\255\246\344\271\240\345\237\272\347\241\200.md"
index 368c4cc0..e5e5e28d 100644
--- "a/\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/ML-A-\346\234\272\345\231\250\345\255\246\344\271\240\345\237\272\347\241\200.md"
+++ "b/A-\346\234\272\345\231\250\345\255\246\344\271\240/A-\346\234\272\345\231\250\345\255\246\344\271\240\345\237\272\347\241\200.md"
@@ -23,11 +23,11 @@ Index
- 模型的**偏差**，指的是模型预测的**期望值**与**真实值**之间的差；
- 模型的**方差**，指的是模型预测的**期望值**与**预测值**之间的差平方和；
- 在**监督学习**中，模型的**泛化误差**可**分解**为偏差、方差与噪声之和。
-
+
- **偏差**用于描述模型的**拟合能力**；
**方差**用于描述模型的**稳定性**。
-
+
### 导致偏差和方差的原因
- **偏差**通常是由于我们对学习算法做了**错误的假设**，或者模型的复杂度不够；
@@ -48,21 +48,21 @@ Index
### 偏差与方差的计算公式
- 记在**训练集 D** 上学得的模型为
-
+
模型的**期望预测**为
-
+
- **偏差**（Bias）
-
+
> **偏差**度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；
- **方差**（Variance）
-
+
> **方差**度量了同样大小的**训练集的变动**所导致的学习性能的变化，即刻画了数据扰动所造成的影响（模型的稳定性）；
+ -->
- **噪声**则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。
@@ -76,7 +76,7 @@ Index
- 当训练充足后，模型的**拟合能力过强**（数据的轻微扰动都会导致模型产生显著的变化），此时即发生**过拟合**（训练数据自身的、非全局的特征也被模型学习了）
- 偏差和方差的关系和**模型容量**（模型复杂度）、**欠拟合**和**过拟合**的概念紧密相联
-
+
- 当模型的容量增大（x 轴）时， 偏差（用点表示）随之减小，而方差（虚线）随之增大
- 沿着 x 轴存在**最佳容量**，**小于最佳容量会呈现欠拟合**，**大于最佳容量会导致过拟合**。
@@ -91,7 +91,7 @@ Index
> 《统计学习方法》 1.7 生成模型与判别模型
- 监督学习的任务是学习一个模型，对给定的输入预测相应的输出
- 这个模型的一般形式为一个**决策函数**或一个**条件概率分布**（后验概率）：
-
+
- **决策函数**：输入 X 返回 Y；其中 Y 与一个**阈值**比较，然后根据比较结果判定 X 的类别
- **条件概率分布**：输入 X 返回 **X 属于每个类别的概率**；将其中概率最大的作为 X 所属的类别
@@ -99,7 +99,7 @@ Index
- **判别模型**直接学习决策函数或者条件概率分布
- 直观来说，**判别模型**学习的是类别之间的最优分隔面，反映的是不同类数据之间的差异
- **生成模型**学习的是联合概率分布`P(X,Y)`，然后根据条件概率公式计算 `P(Y|X)`
-
+
**两者之间的联系**
- 由生成模型可以得到判别模型，但由判别模型得不到生成模型。
@@ -149,4 +149,4 @@ Index
- 基于先验概率求得的**反向条件概率**，形式上与条件概率相同（若 `P(X|Y)` 为正向，则 `P(Y|X)` 为反向）
**贝叶斯公式**
-
+
diff --git "a/\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/ML-\346\234\272\345\231\250\345\255\246\344\271\240\345\256\236\350\267\265.md" "b/A-\346\234\272\345\231\250\345\255\246\344\271\240/A-\346\234\272\345\231\250\345\255\246\344\271\240\345\256\236\350\267\265.md"
similarity index 89%
rename from "\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/ML-\346\234\272\345\231\250\345\255\246\344\271\240\345\256\236\350\267\265.md"
rename to "A-\346\234\272\345\231\250\345\255\246\344\271\240/A-\346\234\272\345\231\250\345\255\246\344\271\240\345\256\236\350\267\265.md"
index 7801f7d6..0f948c6b 100644
--- "a/\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/ML-\346\234\272\345\231\250\345\255\246\344\271\240\345\256\236\350\267\265.md"
+++ "b/A-\346\234\272\345\231\250\345\255\246\344\271\240/A-\346\234\272\345\231\250\345\255\246\344\271\240\345\256\236\350\267\265.md"
@@ -74,9 +74,9 @@ Index
- 答：
- 硬币：[](http://www.codecogs.com/eqnedit.php?latex=-\sum^{n}_{i=1}P(X_i)\log&space;P(X_i)&space;=&space;-2*\frac{1}{2}*\log&space;P(\frac{1}{2})\approx&space;1&space;\text{bit})
+ 硬币：[](http://www.codecogs.com/eqnedit.php?latex=-\sum^{n}_{i=1}P(X_i)\log&space;P(X_i)&space;=&space;-2*\frac{1}{2}*\log&space;P(\frac{1}{2})\approx&space;1&space;\text{bit})
- 六面体：[](http://www.codecogs.com/eqnedit.php?latex=-\sum^{n}_{i=1}P(X_i)\log&space;P(X_i)&space;=&space;-6*\frac{1}{6}*\log&space;P(\frac{1}{6})\approx&space;2.6&space;\text{bit})
+ 六面体：[](http://www.codecogs.com/eqnedit.php?latex=-\sum^{n}_{i=1}P(X_i)\log&space;P(X_i)&space;=&space;-6*\frac{1}{6}*\log&space;P(\frac{1}{6})\approx&space;2.6&space;\text{bit})
## 混淆矩阵、模型度量指标：准确率、精确率、召回率、F1 值等
@@ -88,26 +88,26 @@ Index
- False Positive(FP)：将负类预测为正类数 → 误报 (Type I error).
- False Negative(FN)：将正类预测为负类数 → 漏报 (Type II error).
- 
+ 
**准确率**（accuracy）
-
+
**精确率**（precision）
-
+
> 准确率与精确率的区别：
>> 在正负样本不平衡的情况下，**准确率**这个评价指标有很大的缺陷。比如在互联网广告里面，点击的数量是很少的，一般只有千分之几，如果用acc，即使全部预测成负类（不点击）acc 也有 99% 以上，没有意义。
**召回率**（recall, sensitivity, true positive rate）
-
+
**F1值**——精确率和召回率的调和均值
-
+
> 只有当精确率和召回率都很高时，F1值才会高
@@ -212,7 +212,7 @@ Index
**特征处理**
-
+
> [机器学习中的数据清洗与特征处理综述](https://tech.meituan.com/machinelearning-data-feature-process.html) - 美团点评技术
@@ -222,7 +222,7 @@ Index
---
X → Y 的支持度表示项集 {X,Y} 在总项集中出现的概率
-[](http://www.codecogs.com/eqnedit.php?latex=Support(X\rightarrow&space;Y)=\frac{P(X\cup&space;Y)}{P(I)}=\frac{\text{num}(X\cup&space;Y)}{\text{num}(I)})
+[](http://www.codecogs.com/eqnedit.php?latex=Support(X\rightarrow&space;Y)=\frac{P(X\cup&space;Y)}{P(I)}=\frac{\text{num}(X\cup&space;Y)}{\text{num}(I)})
其中，I 表示总事务集，`num()`表示事务集中特定项集出现的次数，`P(X)=num(X)/num(I)`
@@ -230,13 +230,13 @@ X → Y 的支持度表示项集 {X,Y} 在总项集中出现的概率
---
X → Y 的置信度表示在先决条件 X 发生的情况下，由规则 X → Y 推出 Y 的概率。
-[](http://www.codecogs.com/eqnedit.php?latex=Confidence(X\rightarrow&space;Y)=P(Y|X)=\frac{P(X\cup&space;Y)}{P(X)}=\frac{\text{num}(X\cup&space;Y)}{\text{num}(X)})
+[](http://www.codecogs.com/eqnedit.php?latex=Confidence(X\rightarrow&space;Y)=P(Y|X)=\frac{P(X\cup&space;Y)}{P(X)}=\frac{\text{num}(X\cup&space;Y)}{\text{num}(X)})
**提升度**（Lift）
---
X → Y 的提升度表示含有X的条件下，同时含有Y的概率，与Y总体发生的概率之比。
-[](http://www.codecogs.com/eqnedit.php?latex={\displaystyle&space;{\begin{aligned}&space;Lift(X\rightarrow&space;Y)&=\frac{P(Y|X)}{P(Y)}=\frac{Confidence(X\rightarrow&space;Y)}{\text{num}(Y)/\text{num}(I)}\\&space;&=\frac{P(X\cup&space;Y)}{P(X)P(Y)}=\frac{\text{num}(X\cup&space;Y)\text{num}(I)}{\text{num}(X)\text{num}(Y)}&space;\end{aligned}}})
+[](http://www.codecogs.com/eqnedit.php?latex={\displaystyle&space;{\begin{aligned}&space;Lift(X\rightarrow&space;Y)&=\frac{P(Y|X)}{P(Y)}=\frac{Confidence(X\rightarrow&space;Y)}{\text{num}(Y)/\text{num}(I)}\\&space;&=\frac{P(X\cup&space;Y)}{P(X)P(Y)}=\frac{\text{num}(X\cup&space;Y)\text{num}(I)}{\text{num}(X)\text{num}(Y)}&space;\end{aligned}}})
规则的有效性：
---
diff --git "a/\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/ML-\346\234\272\345\231\250\345\255\246\344\271\240\347\256\227\346\263\225.md" "b/A-\346\234\272\345\231\250\345\255\246\344\271\240/A-\346\234\272\345\231\250\345\255\246\344\271\240\347\256\227\346\263\225.md"
similarity index 65%
rename from "\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/ML-\346\234\272\345\231\250\345\255\246\344\271\240\347\256\227\346\263\225.md"
rename to "A-\346\234\272\345\231\250\345\255\246\344\271\240/A-\346\234\272\345\231\250\345\255\246\344\271\240\347\256\227\346\263\225.md"
index 726a3084..b3469054 100644
--- "a/\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/ML-\346\234\272\345\231\250\345\255\246\344\271\240\347\256\227\346\263\225.md"
+++ "b/A-\346\234\272\345\231\250\345\255\246\344\271\240/A-\346\234\272\345\231\250\345\255\246\344\271\240\347\256\227\346\263\225.md"
@@ -77,11 +77,11 @@
输入实例`x`的特征向量记为：
- [](http://www.codecogs.com/eqnedit.php?latex=x=(x^{(1)},x^{(2)},\cdots,x^{(n)})^T)
+ [](http://www.codecogs.com/eqnedit.php?latex=x=(x^{(1)},x^{(2)},\cdots,x^{(n)})^T)
注意：`x_i` 和 `x^(i)` 含义不同，前者表示训练集中第 i 个实例，后者表示特征向量中的第 i 个分量；因此，通常记训练集为：
- [](http://www.codecogs.com/eqnedit.php?latex=T=\left&space;\{&space;(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)&space;\right&space;\})
+ [](http://www.codecogs.com/eqnedit.php?latex=T=\left&space;\{&space;(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)&space;\right&space;\})
> 特征向量用小`n`表示维数，训练集用大`N`表示个数
- **公式说明**
@@ -107,20 +107,20 @@
信息熵 与 自信息
- **自信息**（self-information）是一种量化以上性质的函数，定义一个事件`x`的自信息为：
- [](http://www.codecogs.com/eqnedit.php?latex=I(x)=-\log&space;P(x))
+ [](http://www.codecogs.com/eqnedit.php?latex=I(x)=-\log&space;P(x))
> 当该对数的底数为自然对数 e 时，单位为奈特（nats）；当以 2 为底数时，单位为比特（bit）或香农（shannons）
- 自信息只处理单个的输出。
- **信息熵**（Information-entropy）用于对整个概率分布中的**不确定性总量**进行量化：
- [](http://www.codecogs.com/eqnedit.php?latex=H(\mathrm{X})=\mathbb{E}_{\mathrm{X}&space;\sim&space;P}[I(x)]=-\sum_{x&space;\in&space;\mathrm{X}}P(x)\log&space;P(x))
+ [](http://www.codecogs.com/eqnedit.php?latex=H(\mathrm{X})=\mathbb{E}_{\mathrm{X}&space;\sim&space;P}[I(x)]=-\sum_{x&space;\in&space;\mathrm{X}}P(x)\log&space;P(x))
> 信息论中，记 `0log0 = 0`
交叉熵 与 相对熵/KL散度
- 定义 **P 对 Q** 的 **KL 散度**（Kullback-Leibler divergence）：
- [](http://www.codecogs.com/eqnedit.php?latex=D_P(Q)=\mathbb{E}_{\mathrm{X}\sim&space;P}\left&space;[&space;\log&space;\frac{P(x)}{Q(x)}&space;\right&space;]=\sum_{x&space;\in&space;\mathrm{X}}P(x)\left&space;[&space;\log&space;P(x)-\log&space;Q(x)&space;\right&space;])
+ [](http://www.codecogs.com/eqnedit.php?latex=D_P(Q)=\mathbb{E}_{\mathrm{X}\sim&space;P}\left&space;[&space;\log&space;\frac{P(x)}{Q(x)}&space;\right&space;]=\sum_{x&space;\in&space;\mathrm{X}}P(x)\left&space;[&space;\log&space;P(x)-\log&space;Q(x)&space;\right&space;])
**KL 散度在信息论中度量的是哪个直观量**
- 在离散型变量的情况下， KL 散度衡量的是：当我们使用一种被设计成能够使得概率分布 Q 产生的消息的长度最小的编码，发送包含由概率分布 P 产生的符号的消息时，所需要的额外信息量。
@@ -131,13 +131,13 @@
**交叉熵**（cross-entropy）：
-[](http://www.codecogs.com/eqnedit.php?latex=H_P(Q)=-\mathbb{E}_{\mathrm{X}\sim&space;P}\log&space;Q(x)=-\sum_{x&space;\in&space;\mathrm{X}}P(x)\log&space;Q(x))
+[](http://www.codecogs.com/eqnedit.php?latex=H_P(Q)=-\mathbb{E}_{\mathrm{X}\sim&space;P}\log&space;Q(x)=-\sum_{x&space;\in&space;\mathrm{X}}P(x)\log&space;Q(x))
> [信息量，信息熵，交叉熵，KL散度和互信息（信息增益）](https://blog.csdn.net/haolexiao/article/details/70142571) - CSDN博客
**交叉熵 与 KL 散度的关系**
- **针对 Q 最小化交叉熵等价于最小化 P 对 Q 的 KL 散度**，因为 Q 并不参与被省略的那一项。
- [](http://www.codecogs.com/eqnedit.php?latex=H_P(Q)=H(P)+D_P(Q))
+ [](http://www.codecogs.com/eqnedit.php?latex=H_P(Q)=H(P)+D_P(Q))
- 最大似然估计中，最小化 KL 散度其实就是在最小化分布之间的交叉熵。
> 《深度学习》 ch5.5 - 最大似然估计
@@ -148,21 +148,21 @@
- **二项**逻辑斯蒂回归模型即如下的**条件概率分布**
-
- [](http://www.codecogs.com/eqnedit.php?latex=P(Y=1|x)=\frac{\exp(wx)}{1+\exp(wx)}=\frac{1}{1+\exp(-wx)})
+
+ [](http://www.codecogs.com/eqnedit.php?latex=P(Y=1|x)=\frac{\exp(wx)}{1+\exp(wx)}=\frac{1}{1+\exp(-wx)})
- [](http://www.codecogs.com/eqnedit.php?latex=P(Y=0|x)=1-P(Y=1|x))
+ [](http://www.codecogs.com/eqnedit.php?latex=P(Y=0|x)=1-P(Y=1|x))
> 简洁起见，省略了偏置 `b`；也可以看做将偏置扩充到了权重中
**其中**
-
+
- [](http://www.codecogs.com/eqnedit.php?latex=x\in&space;\mathbf{R}^n,Y\in&space;\left&space;\{&space;0,1&space;\right&space;\})
+ [](http://www.codecogs.com/eqnedit.php?latex=x\in&space;\mathbf{R}^n,Y\in&space;\left&space;\{&space;0,1&space;\right&space;\})
- 通常会将以上两个分布记作：
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;&P(Y=1|x)={\color{Blue}&space;\sigma(x)}\\&space;&P(Y=0|x)={\color{Blue}&space;1-\sigma(x)}&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;&P(Y=1|x)={\color{Blue}&space;\sigma(x)}\\&space;&P(Y=0|x)={\color{Blue}&space;1-\sigma(x)}&space;\end{aligned})
> 《统计学习方法》 6.1 逻辑斯蒂回归模型
>> 原书中记作 `π(x)` 和 `1-π(x)`，这里为了跟神经网络中统一，使用 `σ`
@@ -177,24 +177,24 @@
- 给定训练集 `T={(x1,y1),..,(xN,yN)}`，其中 `x ∈ R^n, y ∈ {0, 1}`
1. **逻辑斯蒂回归**的定义：
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;&P(Y=1|x)={\color{Blue}&space;\sigma(x)}\\&space;&P(Y=0|x)={\color{Blue}&space;1-\sigma(x)}&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;&P(Y=1|x)={\color{Blue}&space;\sigma(x)}\\&space;&P(Y=0|x)={\color{Blue}&space;1-\sigma(x)}&space;\end{aligned})
2. **负对数函数**作为损失函数：
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;L(w)&=-\log\left&space;(&space;\prod_{i=1}^N&space;[{\color{Red}&space;\sigma(x_i)}]^{{\color{Blue}&space;y_i}}&space;[{\color{Red}&space;1-&space;\sigma(x_i)}]^{{\color{Blue}&space;1-y_i}}&space;\right&space;)\\&space;&=-\sum_{i=1}^N&space;\left&space;[&space;y_i\log\sigma(x_i)+(1-y_i)\log(1-\sigma(x_i))&space;\right&space;]\\&space;&=-\sum_{i=1}^N&space;\left&space;[&space;y_i\log\frac{\sigma(x_i)}{1-\sigma(x_i)}+\log(1-\sigma(x_i))&space;\right&space;]&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;L(w)&=-\log\left&space;(&space;\prod_{i=1}^N&space;[{\color{Red}&space;\sigma(x_i)}]^{{\color{Blue}&space;y_i}}&space;[{\color{Red}&space;1-&space;\sigma(x_i)}]^{{\color{Blue}&space;1-y_i}}&space;\right&space;)\\&space;&=-\sum_{i=1}^N&space;\left&space;[&space;y_i\log\sigma(x_i)+(1-y_i)\log(1-\sigma(x_i))&space;\right&space;]\\&space;&=-\sum_{i=1}^N&space;\left&space;[&space;y_i\log\frac{\sigma(x_i)}{1-\sigma(x_i)}+\log(1-\sigma(x_i))&space;\right&space;]&space;\end{aligned})
进一步代入 `σ(x)` 有：
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;L(w)&=-\sum_{i=1}^N&space;\left&space;[&space;{\color{Blue}&space;y_i}(w{\color{Red}&space;x_i})-\log(1+\exp(w{\color{Red}&space;x_i}))&space;\right&space;]&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;L(w)&=-\sum_{i=1}^N&space;\left&space;[&space;{\color{Blue}&space;y_i}(w{\color{Red}&space;x_i})-\log(1+\exp(w{\color{Red}&space;x_i}))&space;\right&space;]&space;\end{aligned})
3. **求梯度**
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;\frac{\partial&space;L(w)}{\partial&space;w}&=-\sum_{i=1}^N&space;\left&space;[&space;y_ix_i-\frac{\exp(wx_i)}{1+\exp(wx_i)}x_i&space;\right&space;]\\&space;&=\sum_{i=1}^N&space;[\sigma&space;(x_i)-y_i]x_i&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;\frac{\partial&space;L(w)}{\partial&space;w}&=-\sum_{i=1}^N&space;\left&space;[&space;y_ix_i-\frac{\exp(wx_i)}{1+\exp(wx_i)}x_i&space;\right&space;]\\&space;&=\sum_{i=1}^N&space;[\sigma&space;(x_i)-y_i]x_i&space;\end{aligned})
4. 使用**梯度下降法**求解参数
> 深度学习/[梯度下降法](../深度学习/README.md#梯度下降法)
## 多分类逻辑斯蒂回归模型 TODO
- 设 `Y ∈ {1,2,..K}`，则多项式逻辑斯蒂回归模型为：
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;P(Y=k|x)&=\frac{\exp(w_kx)}{1+\sum_{k=1}^{K-1}&space;\exp(w_kx)}&space;\quad&space;k=1,2,..,K-1&space;\\&space;P(Y=K|x)&=\frac{1}{1+\sum_{k=1}^{K-1}\exp(w_kx)}&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;P(Y=k|x)&=\frac{\exp(w_kx)}{1+\sum_{k=1}^{K-1}&space;\exp(w_kx)}&space;\quad&space;k=1,2,..,K-1&space;\\&space;P(Y=K|x)&=\frac{1}{1+\sum_{k=1}^{K-1}\exp(w_kx)}&space;\end{aligned})
- 类似 `Softmax`
# 支持向量机
@@ -227,7 +227,7 @@
> 机器学习技法 (1-5) - 林轩田
- 相当于在**最小化权重**时对训练误差进行了约束——对比 L2 范数正则化，则是在最小化训练误差时，对权重进行约束
- 
+ 
> 与 L2 正则化的区别
- 相当于**限制了模型复杂度**——在一定程度上防止过拟合，具有更强的泛化能力
@@ -245,20 +245,20 @@
---
- 训练集 `T`
- [](http://www.codecogs.com/eqnedit.php?latex=T=\left&space;\{&space;(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)&space;\right&space;\})
+ [](http://www.codecogs.com/eqnedit.php?latex=T=\left&space;\{&space;(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)&space;\right&space;\})
- **分离超平面** `(w,b)`
- [](http://www.codecogs.com/eqnedit.php?latex=w^*\cdot&space;x+b^*=0)
+ [](http://www.codecogs.com/eqnedit.php?latex=w^*\cdot&space;x+b^*=0)
如果使用映射函数，那么分离超平面为
- [](http://www.codecogs.com/eqnedit.php?latex=w^*\cdot&space;\Phi&space;(x)+b^*=0)
+ [](http://www.codecogs.com/eqnedit.php?latex=w^*\cdot&space;\Phi&space;(x)+b^*=0)
> 映射函数 `Φ(x)` 定义了从输入空间到特征空间的变换，特征空间通常是更高维的，甚至无穷维；方便起见，这里假设 `Φ(x)` 做的是恒等变换。
- 分类决策函数 `f(x)`
- [](http://www.codecogs.com/eqnedit.php?latex=f(x)=\mathrm{sign}(w^*\cdot&space;x+b^*))
+ [](http://www.codecogs.com/eqnedit.php?latex=f(x)=\mathrm{sign}(w^*\cdot&space;x+b^*))
**SVM 标准问题的推导**(2)
---
@@ -266,23 +266,23 @@
给定训练集`T`和超平面`(w,b)`，定义**函数间隔`γ^`**：
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;\hat{\gamma}&=\underset{i=1,\cdots,N}{\min}\,y_i(wx_i+b)&space;\\&space;&=\underset{i=1,\cdots,N}{\min}\,\hat{\gamma}_i\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;\hat{\gamma}&=\underset{i=1,\cdots,N}{\min}\,y_i(wx_i+b)&space;\\&space;&=\underset{i=1,\cdots,N}{\min}\,\hat{\gamma}_i\end{aligned})
对 `w` 作规范化，使函数间隔成为**几何间隔`γ`**
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;\gamma&=\underset{i=1,\cdots,N}{\min}\,y_i(\frac{w}{{\color{Red}&space;\left&space;\|&space;w&space;\right&space;\|}}x_i+\frac{b}{{\color{Red}&space;\left&space;\|&space;w&space;\right&space;\|}})\\&space;&=\underset{i=1,\cdots,N}{\min}\,\frac{\gamma_i}{{\color{Red}&space;\left&space;\|&space;w&space;\right&space;\|}}&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;\gamma&=\underset{i=1,\cdots,N}{\min}\,y_i(\frac{w}{{\color{Red}&space;\left&space;\|&space;w&space;\right&space;\|}}x_i+\frac{b}{{\color{Red}&space;\left&space;\|&space;w&space;\right&space;\|}})\\&space;&=\underset{i=1,\cdots,N}{\min}\,\frac{\gamma_i}{{\color{Red}&space;\left&space;\|&space;w&space;\right&space;\|}}&space;\end{aligned})
1. **最大化几何间隔**
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;&{\color{Red}&space;\underset{w,b}{\max}}&space;\quad\gamma&space;\\&space;&\&space;\mathrm{s.t.}\quad\,&space;y_i(\frac{w}{{\color{Red}&space;\left&space;\|&space;w&space;\right&space;\|}}x_i+\frac{b}{{\color{Red}&space;\left&space;\|&space;w&space;\right&space;\|}})&space;\geq&space;\gamma,\quad&space;i=1,2,\cdots,N&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;&{\color{Red}&space;\underset{w,b}{\max}}&space;\quad\gamma&space;\\&space;&\&space;\mathrm{s.t.}\quad\,&space;y_i(\frac{w}{{\color{Red}&space;\left&space;\|&space;w&space;\right&space;\|}}x_i+\frac{b}{{\color{Red}&space;\left&space;\|&space;w&space;\right&space;\|}})&space;\geq&space;\gamma,\quad&space;i=1,2,\cdots,N&space;\end{aligned})
由函数间隔与几何间隔的关系，等价于
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;&\underset{w,b}{\max}&space;\quad{\color{Red}&space;\frac{\hat{\gamma}}{\left&space;|&space;w&space;\right&space;|}}&space;\&space;&&space;\mathrm{s.t.}\quad,&space;y_i(wx_i+b)&space;\geq&space;{\color{Red}&space;\hat{\gamma}},\quad&space;i=1,2,\cdots,N&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;&\underset{w,b}{\max}&space;\quad{\color{Red}&space;\frac{\hat{\gamma}}{\left&space;|&space;w&space;\right&space;|}}&space;\&space;&&space;\mathrm{s.t.}\quad,&space;y_i(wx_i+b)&space;\geq&space;{\color{Red}&space;\hat{\gamma}},\quad&space;i=1,2,\cdots,N&space;\end{aligned})
函数间隔`γ^`的取值不会影响最终的超平面`(w,b)`：取`γ^=1`；又最大化 `1/||w||` 等价于最小化`1/2*||w||^2`，于是有
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;&{\color{Red}&space;\underset{w,b}{\max}&space;}&space;\quad\frac{\hat{\gamma}}{{\color{Red}&space;\left&space;\|&space;w&space;\right&space;\|}}&space;\\&space;&\&space;\mathrm{s.t.}\quad\,&space;y_i(wx_i+b)&space;\geq&space;\hat{\gamma}_i,\quad&space;i=1,2,\cdots,N&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;&{\color{Red}&space;\underset{w,b}{\max}&space;}&space;\quad\frac{\hat{\gamma}}{{\color{Red}&space;\left&space;\|&space;w&space;\right&space;\|}}&space;\\&space;&\&space;\mathrm{s.t.}\quad\,&space;y_i(wx_i+b)&space;\geq&space;\hat{\gamma}_i,\quad&space;i=1,2,\cdots,N&space;\end{aligned})
> 为什么令`γ^=1`？——比例改变`(ω,b)`，超平面不会改变，但函数间隔`γ^`会成比例改变，因此可以通过等比例改变`(ω,b)`使函数间隔`γ^=1`
- 该约束最优化问题即为**线性支持向量机**的标准问题——这是一个**凸二次优化**问题，可以使用商业 QP 代码完成。
@@ -293,50 +293,50 @@
---
1. 构建**拉格朗日函数**
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;L(w,b,{\color{Red}&space;\alpha})=&\frac{1}{2}w^Tw-\sum_{i=1}^N{\color{Red}&space;\alpha_i}[y_i(w^Tx_i+b)-1]\\&space;&{\color{Red}&space;\alpha_i&space;\geq&space;0},\quad&space;i=1,2,\cdots,N&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;L(w,b,{\color{Red}&space;\alpha})=&\frac{1}{2}w^Tw-\sum_{i=1}^N{\color{Red}&space;\alpha_i}[y_i(w^Tx_i+b)-1]\\&space;&{\color{Red}&space;\alpha_i&space;\geq&space;0},\quad&space;i=1,2,\cdots,N&space;\end{aligned})
1. 标准问题是求极小极大问题：
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;{\color{Red}&space;\underset{w,b}{\min}}\&space;{\color{Blue}&space;\underset{\alpha}{\max}}\&space;L(w,b,\alpha)&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;{\color{Red}&space;\underset{w,b}{\min}}\&space;{\color{Blue}&space;\underset{\alpha}{\max}}\&space;L(w,b,\alpha)&space;\end{aligned})
其对偶问题为：
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;{\color{Blue}&space;\underset{\alpha}{\max}}\&space;{\color{Red}&space;\underset{w,b}{\min}}\&space;L(w,b,\alpha)&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;{\color{Blue}&space;\underset{\alpha}{\max}}\&space;{\color{Red}&space;\underset{w,b}{\min}}\&space;L(w,b,\alpha)&space;\end{aligned})
1. 求 `L` 对 `(w,b)` 的极小
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;\mathrm{set}\quad&space;\frac{\partial&space;L}{\partial&space;w}=0&space;\;\;&\Rightarrow\;&space;w-\sum_{i=1}^N&space;{\color{Red}&space;\alpha_i&space;y_i&space;x_i}=0\\&space;&\Rightarrow\;&space;w=\sum_{i=1}^N&space;{\color{Red}&space;\alpha_i&space;y_i&space;x_i}&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;\mathrm{set}\quad&space;\frac{\partial&space;L}{\partial&space;w}=0&space;\;\;&\Rightarrow\;&space;w-\sum_{i=1}^N&space;{\color{Red}&space;\alpha_i&space;y_i&space;x_i}=0\\&space;&\Rightarrow\;&space;w=\sum_{i=1}^N&space;{\color{Red}&space;\alpha_i&space;y_i&space;x_i}&space;\end{aligned})
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;\mathrm{set}\quad&space;\frac{\partial&space;L}{\partial&space;b}=0&space;\;\;&\Rightarrow\;&space;\sum_{i=1}^N&space;{\color{Red}&space;\alpha_i&space;y_i}=0&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;\mathrm{set}\quad&space;\frac{\partial&space;L}{\partial&space;b}=0&space;\;\;&\Rightarrow\;&space;\sum_{i=1}^N&space;{\color{Red}&space;\alpha_i&space;y_i}=0&space;\end{aligned})
结果代入`L`，有：
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;L(w,b,{\color{Red}&space;\alpha})&space;&=\frac{1}{2}w^Tw-\sum_{i=1}^N{\color{Red}&space;\alpha_i}[y_i(w^Tx_i+b)-1]\\&space;&=\frac{1}{2}w^Tw-w^T\sum_{i=1}^N&space;\alpha_iy_ix_i-b\sum_{i=1}^N&space;\alpha_iy_i+\sum_{i=1}^N&space;\alpha_i\\&space;&=\frac{1}{2}w^Tw-w^Tw+\sum_{i=1}^N&space;\alpha_i\\&space;&=-\frac{1}{2}w^Tw+\sum_{i=1}^N&space;\alpha_i\\&space;&=-\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N&space;\alpha_i\alpha_j\cdot&space;y_iy_j\cdot&space;{\color{Red}&space;x_i^Tx_j}+\sum_{i=1}^N&space;\alpha_i&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;L(w,b,{\color{Red}&space;\alpha})&space;&=\frac{1}{2}w^Tw-\sum_{i=1}^N{\color{Red}&space;\alpha_i}[y_i(w^Tx_i+b)-1]\\&space;&=\frac{1}{2}w^Tw-w^T\sum_{i=1}^N&space;\alpha_iy_ix_i-b\sum_{i=1}^N&space;\alpha_iy_i+\sum_{i=1}^N&space;\alpha_i\\&space;&=\frac{1}{2}w^Tw-w^Tw+\sum_{i=1}^N&space;\alpha_i\\&space;&=-\frac{1}{2}w^Tw+\sum_{i=1}^N&space;\alpha_i\\&space;&=-\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N&space;\alpha_i\alpha_j\cdot&space;y_iy_j\cdot&space;{\color{Red}&space;x_i^Tx_j}+\sum_{i=1}^N&space;\alpha_i&space;\end{aligned})
即
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;L(w,b,{\color{Red}&space;\alpha})&space;&=\frac{1}{2}w^Tw-\sum_{i=1}^N{\color{Red}&space;\alpha_i}[y_i(w^Tx_i+b)-1]\\&space;&=\frac{1}{2}w^Tw-w^T\sum_{i=1}^N&space;\alpha_iy_ix_i-b\sum_{i=1}^N&space;\alpha_iy_i+\sum_{i=1}^N&space;\alpha_i\\&space;&=\frac{1}{2}w^Tw-w^Tw+\sum_{i=1}^N&space;\alpha_i\\&space;&=-\frac{1}{2}w^Tw+\sum_{i=1}^N&space;\alpha_i\\&space;&=-\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N&space;\alpha_i\alpha_j\cdot&space;y_iy_j\cdot&space;{\color{Red}&space;x_i^Tx_j}+\sum_{i=1}^N&space;\alpha_i&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;L(w,b,{\color{Red}&space;\alpha})&space;&=\frac{1}{2}w^Tw-\sum_{i=1}^N{\color{Red}&space;\alpha_i}[y_i(w^Tx_i+b)-1]\\&space;&=\frac{1}{2}w^Tw-w^T\sum_{i=1}^N&space;\alpha_iy_ix_i-b\sum_{i=1}^N&space;\alpha_iy_i+\sum_{i=1}^N&space;\alpha_i\\&space;&=\frac{1}{2}w^Tw-w^Tw+\sum_{i=1}^N&space;\alpha_i\\&space;&=-\frac{1}{2}w^Tw+\sum_{i=1}^N&space;\alpha_i\\&space;&=-\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N&space;\alpha_i\alpha_j\cdot&space;y_iy_j\cdot&space;{\color{Red}&space;x_i^Tx_j}+\sum_{i=1}^N&space;\alpha_i&space;\end{aligned})
1. 求 `L` 对 `α` 的极大，即
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;&\underset{\alpha}{\max}&space;\quad&space;-\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N&space;\alpha_i\alpha_j\cdot&space;y_iy_j\cdot&space;x_i^Tx_j+\sum_{i=1}^N&space;\alpha_i\\&space;&\&space;\mathrm{s.t.}\quad\;&space;\sum_{i=1}^N&space;\alpha_i&space;y_i=0,\&space;\&space;{\color{Red}&space;\alpha_i&space;\geq&space;0},\quad&space;i=1,2,\cdots,N&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;&\underset{\alpha}{\max}&space;\quad&space;-\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N&space;\alpha_i\alpha_j\cdot&space;y_iy_j\cdot&space;x_i^Tx_j+\sum_{i=1}^N&space;\alpha_i\\&space;&\&space;\mathrm{s.t.}\quad\;&space;\sum_{i=1}^N&space;\alpha_i&space;y_i=0,\&space;\&space;{\color{Red}&space;\alpha_i&space;\geq&space;0},\quad&space;i=1,2,\cdots,N&space;\end{aligned})
该问题的对偶问题为：
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;&{\color{Red}&space;\underset{\alpha}{\min}&space;}&space;\quad\&space;\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N&space;\alpha_i\alpha_j\cdot&space;y_iy_j\cdot&space;x_i^Tx_j-\sum_{i=1}^N&space;\alpha_i\\&space;&\&space;\mathrm{s.t.}\quad\;&space;\sum_{i=1}^N&space;\alpha_i&space;y_i=0,\&space;\&space;{\color{Red}&space;\alpha_i&space;\geq&space;0},\quad&space;i=1,2,\cdots,N&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;&{\color{Red}&space;\underset{\alpha}{\min}&space;}&space;\quad\&space;\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N&space;\alpha_i\alpha_j\cdot&space;y_iy_j\cdot&space;x_i^Tx_j-\sum_{i=1}^N&space;\alpha_i\\&space;&\&space;\mathrm{s.t.}\quad\;&space;\sum_{i=1}^N&space;\alpha_i&space;y_i=0,\&space;\&space;{\color{Red}&space;\alpha_i&space;\geq&space;0},\quad&space;i=1,2,\cdots,N&space;\end{aligned})
于是，标准问题最后等价于求解该**对偶问题**
> 继续求解该优化问题，有 [SMO 方法](https://blog.csdn.net/ajianyingxiaoqinghan/article/details/73087304#t11)；因为《统计学习方法》也只讨论到这里，故推导也止于此
1. 设 `α` 的解为 `α*`，则存在下标`j`使`α_j > 0`，可得标准问题的解为：
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;w^*&=\sum_{i=1}^N&space;\alpha_i^*y_ix_i\\&space;b^*&={\color{Red}&space;y_j}-\sum_{i=1}^N&space;\alpha_i^*y_i(x_i^T{\color{Red}&space;x_j})&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;w^*&=\sum_{i=1}^N&space;\alpha_i^*y_ix_i\\&space;b^*&={\color{Red}&space;y_j}-\sum_{i=1}^N&space;\alpha_i^*y_i(x_i^T{\color{Red}&space;x_j})&space;\end{aligned})
可得分离超平面及分类决策函数为：
- [](http://www.codecogs.com/eqnedit.php?latex=w^*\cdot&space;x+b^*=0)
+ [](http://www.codecogs.com/eqnedit.php?latex=w^*\cdot&space;x+b^*=0)
- [](http://www.codecogs.com/eqnedit.php?latex=f(x)=\mathrm{sign}(w^*\cdot&space;x+b^*))
+ [](http://www.codecogs.com/eqnedit.php?latex=f(x)=\mathrm{sign}(w^*\cdot&space;x+b^*))
# 决策树
@@ -361,12 +361,12 @@
### CART 回归树算法推导
- 一个回归树对应着输入空间/**特征空间**的一个**划分**以及在划分单元上的**输出值**；
- 假设已将输入空间划分为 `M` 个单元：`{R_1,..,R_m,..,R_M}`，并在每个单元上对应有输出值 `c_m`，则该回归树可表示为
-
+
> `I(x)` 为指示函数
- **如果已经划分好了输入空间**，通常使用**平方误差**作为损失函数来表示回归树对于训练数据的预测误差，通过最小化损失函数来求解每个划分单元的**最优输出值**。
- 如果使用**平方误差**，易知**最优输出值**即每个划分单元上所有实例的均值
-
+
> 选用**平方误差**作为损失的原因
@@ -375,18 +375,18 @@
- 一个启发式方法是：**以特征向量中的某一个特征为标准进行切分**。
假设选择**特征向量中第 `j` 个变量**作为**切分变量**，然后选择**某个实例中第 `j` 个值 `s`** 作为**切分点**，则定义如下两个划分单元
-
+
> 原书中这里表述不够清楚，需要结合 8.4.2 节中的示例一起看。
- 遍历**每个实例**的第`j`个值`s`，选择满足以下条件的作为**最优切分变量`j`和切分点`s`**
-
+
其中输出值 `c1` 和 `c2` 分别为
-
+
> 示例: [选择切分变量与切分点](#示例-选择切分变量与切分点)
- 接着，继续对两个子空间重复以上步骤，直到满足条件为止；得到将输入空间划分为`M`个区域的决策树
-
+
### 示例: 选择切分变量与切分点
> 《统计学习方法》 8.4.2
@@ -402,7 +402,7 @@
>
> 最后一个点无法将数据划分为两个空间，所以不需要
- 以 `s=1` 为例
-
+
所有 `m(s)` 的计算结果如下
@@ -411,10 +411,10 @@
m(s)|15.72|12.07|8.36|5.78|3.91|1.93|8.01|11.73|15.74
- 当 `s=6` 时 `m(s)` 达到最小值，此时
-
+
- 所以第一棵决策树为
-
+
# 集成学习
@@ -457,60 +457,60 @@
1. 初始化训练数据的全职分布
- [](http://www.codecogs.com/eqnedit.php?latex=D_1=(w_{1,1},\cdots,w_{1,i},\cdots,w_{1,N}),\quad&space;w_{1,i}=\frac{1}{N},\quad&space;i=1,2,\cdots,N)
+ [](http://www.codecogs.com/eqnedit.php?latex=D_1=(w_{1,1},\cdots,w_{1,i},\cdots,w_{1,N}),\quad&space;w_{1,i}=\frac{1}{N},\quad&space;i=1,2,\cdots,N)
1. 对 `m=1,2,..,M`
1. 使用权值分布为`D_m`的训练集，得到基分类器：
- [](http://www.codecogs.com/eqnedit.php?latex=G_m(x):\chi&space;\rightarrow&space;\{-1,+1\})
+ [](http://www.codecogs.com/eqnedit.php?latex=G_m(x):\chi&space;\rightarrow&space;\{-1,+1\})
1. 计算 `G_m(x)` 在训练集上的分类误差率
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;e_m&=P(G_m(x_i)\neq&space;y_i)\\&=\sum_{i=1}^Nw_{m,i}\cdot&space;{\color{Red}&space;I(G_m(x_i)\neq&space;y_i)}&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;e_m&=P(G_m(x_i)\neq&space;y_i)\\&=\sum_{i=1}^Nw_{m,i}\cdot&space;{\color{Red}&space;I(G_m(x_i)\neq&space;y_i)}&space;\end{aligned})
> `I(x)` 为指示函数：若`G(x)!=y`为真，则`I(G(x)!=y)=1`，反之为 `0`
>
> 实际上分类误差率就等于所有**分类错误的数据的权值之和**
1. 计算 `G_m(x)` 的系数
- [](http://www.codecogs.com/eqnedit.php?latex=\alpha_m=\frac{1}{2}\ln\frac{1-e_m}{e_m})
+ [](http://www.codecogs.com/eqnedit.php?latex=\alpha_m=\frac{1}{2}\ln\frac{1-e_m}{e_m})
1. 更新训练集的权值分布
-
-
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;D_{{\color{Red}m+1}}&=(w_{m+1,1},\cdots,w_{m+1,i},\cdots,w_{m+1,N})\\&space;w_{{\color{Red}m+1},i}&=\frac{w_{{\color{Red}m},i}\cdot\exp(-\alpha_{\color{Red}m}\cdot{\color{Blue}y_iG_m(x_i)&space;})}{Z_{\color{Red}m}}&space;\end{aligned})
+
+
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;D_{{\color{Red}m+1}}&=(w_{m+1,1},\cdots,w_{m+1,i},\cdots,w_{m+1,N})\\&space;w_{{\color{Red}m+1},i}&=\frac{w_{{\color{Red}m},i}\cdot\exp(-\alpha_{\color{Red}m}\cdot{\color{Blue}y_iG_m(x_i)&space;})}{Z_{\color{Red}m}}&space;\end{aligned})
其中 `Z_m` 为**规范化因子**，使 `D_m+1` 成为一个**概率分布**，类似 `Softmax` 函数
-
+
因为 `y, G(x) ∈ {-1, 1}`，所以实际上
- [](http://www.codecogs.com/eqnedit.php?latex={\color{Blue}y_iG_m(x_i)&space;}=\left\{\begin{matrix}&space;1,&&space;G_m(x_i)=y_i&space;\\&space;-1,&&space;G_m(x_i)\neq&space;y_i&space;\end{matrix}\right.)
+ [](http://www.codecogs.com/eqnedit.php?latex={\color{Blue}y_iG_m(x_i)&space;}=\left\{\begin{matrix}&space;1,&&space;G_m(x_i)=y_i&space;\\&space;-1,&&space;G_m(x_i)\neq&space;y_i&space;\end{matrix}\right.)
因此 `w_{m+1,i}` 也可以写作
- [](http://www.codecogs.com/eqnedit.php?latex=\dpi{120}&space;w_{m+1,i}=\left\{\begin{matrix}&space;\frac{w_{m,i}}{Z_m}e^{\color{Red}&space;{-\alpha_m}},&space;&&space;G_m(x_i)=y_i&space;\\&space;\frac{w_{m,i}}{Z_m}e^{\color{Red}&space;{\alpha_m}},&&space;G_m(x_i)\neq&space;y_i&space;\end{matrix}\right.)
+ [](http://www.codecogs.com/eqnedit.php?latex=\dpi{120}&space;w_{m+1,i}=\left\{\begin{matrix}&space;\frac{w_{m,i}}{Z_m}e^{\color{Red}&space;{-\alpha_m}},&space;&&space;G_m(x_i)=y_i&space;\\&space;\frac{w_{m,i}}{Z_m}e^{\color{Red}&space;{\alpha_m}},&&space;G_m(x_i)\neq&space;y_i&space;\end{matrix}\right.)
1. 构建基学习器的**线性组合**
- [](http://www.codecogs.com/eqnedit.php?latex=G(x)=\mathrm{sign}(\sum_{m=1}^M\alpha_mG_m(x)))
+ [](http://www.codecogs.com/eqnedit.php?latex=G(x)=\mathrm{sign}(\sum_{m=1}^M\alpha_mG_m(x)))
### AdaBoost 算法要点说明
- 开始时，训练集中所有数据具有均匀的权值分布
- 计算分类误差率，实际上就是计算所有分类错误的数据的权值之和
- `G_m(x)` 的系数 `α_m` 表示该学习器在最终学习器中的重要性；公式
- [](http://www.codecogs.com/eqnedit.php?latex=\alpha_m=\frac{1}{2}\ln\frac{1-e_m}{e_m}) 表明当分类错误率 `e_m <= 1/2` 时，`α_m >= 0`，并且 `α_m` 随 `e_m` 的减小而增大
+ [](http://www.codecogs.com/eqnedit.php?latex=\alpha_m=\frac{1}{2}\ln\frac{1-e_m}{e_m}) 表明当分类错误率 `e_m <= 1/2` 时，`α_m >= 0`，并且 `α_m` 随 `e_m` 的减小而增大
- 被基分类器分类错误的样本权值会扩大，而分类正确的权值会缩小——**不改变训练数据，而不断改变训练数据权值的分布，使训练数据在基学习器的学习中起到不同的作用**，这是 AdaBoost 的一个特点。
## 前向分步算法
### 加法模型
- 定义加法模型：
- [](http://www.codecogs.com/eqnedit.php?latex=f(x)=\sum_{m=1}^M\beta_m\,b(x;\gamma_m))
+ [](http://www.codecogs.com/eqnedit.php?latex=f(x)=\sum_{m=1}^M\beta_m\,b(x;\gamma_m))
其中`b(x;γ)`为基函数，`γ`为基函数的参数；`β`为基函数的系数
- 在给定训练数据和损失函数`L(y,f(x))`的情况下，学习加法模型相当于损失函数的最小化问题
- [](http://www.codecogs.com/eqnedit.php?latex={\color{Red}&space;\underset{\beta_m,\gamma_m}{\min}}\sum_{i=1}^N&space;L\left&space;(&space;y_i,{\color{Blue}&space;\sum_{m=1}^M\beta_m\,b(x;\gamma_m)}&space;\right&space;))
+ [](http://www.codecogs.com/eqnedit.php?latex={\color{Red}&space;\underset{\beta_m,\gamma_m}{\min}}\sum_{i=1}^N&space;L\left&space;(&space;y_i,{\color{Blue}&space;\sum_{m=1}^M\beta_m\,b(x;\gamma_m)}&space;\right&space;))
### 前向分步算法描述
前向分步算法求解加法模型的想法是：如果能够从前向后，每一步只学习一个基函数及其系数，逐步优化目标函数
@@ -520,14 +520,14 @@
1. 对 `m=1,2,..,M`
1. 极小化损失函数，得到 `(β_m,γ_m)`
- [](http://www.codecogs.com/eqnedit.php?latex=(\beta_m,\gamma_m)=\arg\underset{\beta,\gamma}{\min}\sum_{i=1}^NL\left&space;(&space;y_i,{\color{Red}&space;f_{m-1}(x_i)+\beta&space;b(x_i;\gamma)}&space;\right&space;))
+ [](http://www.codecogs.com/eqnedit.php?latex=(\beta_m,\gamma_m)=\arg\underset{\beta,\gamma}{\min}\sum_{i=1}^NL\left&space;(&space;y_i,{\color{Red}&space;f_{m-1}(x_i)+\beta&space;b(x_i;\gamma)}&space;\right&space;))
1. 更新模型 `f_m(x)`
- [](http://www.codecogs.com/eqnedit.php?latex=f_m(x)={\color{Red}&space;f_{m-1}(x)+\beta&space;b(x;\gamma)})
+ [](http://www.codecogs.com/eqnedit.php?latex=f_m(x)={\color{Red}&space;f_{m-1}(x)+\beta&space;b(x;\gamma)})
1. 得到加法模型
- [](http://www.codecogs.com/eqnedit.php?latex=f(x)=f_M(x)={\color{Red}&space;\sum_{m=1}^M}{\color{Blue}&space;\beta_m}b(x;\gamma_m))
+ [](http://www.codecogs.com/eqnedit.php?latex=f(x)=f_M(x)={\color{Red}&space;\sum_{m=1}^M}{\color{Blue}&space;\beta_m}b(x;\gamma_m))
- 前向分步算法将**同时**求解`m=1,2,..,M`所有参数`(β_m,γ_m)`的问题**简化**为**逐次**求解各`(β_m,γ_m)`的优化问题——思想上有点像**梯度下降**
@@ -543,13 +543,13 @@
- 以**决策树**为基学习器，对分类问题使用二叉分类树，回归问题使用二叉回归树。
- 解决回归问题时，通过不断拟合残差得到新的树。
- 提升树模型可表示为**决策树的加法模型**：
-
+
- 首先初始化提升树 `f_0(x)=0`，则第 m 步的模型为
-
+
- 然后通过最小化损失函数决定下一个决策树的参数
-
+
- 对于二分类问题，提升树算法只需要将[AdaBoost 算法](#adaboost-算法描述)中的基学习器限制为二叉分类树即可
@@ -560,17 +560,17 @@
1. 初始化 `f_0(x)=0`
1. 对 `m=1,2,..,M`
1. 计算**残差**
-
+
1. **拟合残差**学习下一个回归树的参数
-
+
> [回归树算法推导](#回归树算法推导) TODO
1. 更新 `f_m(x)`
-
+
1. 得到回归提升树
-
+
- 以平凡损失为例 TODO
@@ -582,23 +582,23 @@
- 输入：训练集 `T={(x1,y1),..,(xN,yN)}, xi ∈ R^n, yi ∈ R`；损失函数 `L(y,f(x))`；
- 输出：回归树 `f_M(x)`
1. 初始化回归树
-
+
1. 对 `m=1,2,..,M`
1. 对 `i=1,2,..,N`，计算残差/负梯度
-
+
1. 对 `r_mi` 拟合一个回归树，得到第 `m` 棵树的叶节点区域
-
+
> [CART 回归树算法推导](#cart-回归树算法推导)
1. 对 `j=1,2,..,J`，计算
-
+
1. 更新回归树
-
+
1. 得到回归树
-
+
- 说明：
- 算法第 1 步初始化，估计使损失函数最小的常数值，得到一棵只有一个根节点的树
@@ -616,12 +616,12 @@
### XGBoost 与 GB 的主要区别
> [Introduction to Boosted Trees](http://xgboost.readthedocs.io/en/latest/model.html) — xgboost 0.72 documentation
- 首先，定义一棵树 `f(x)` 为
-
+
> Here `w` is the vector of scores on leaves, `q` is a function assigning each data point to the corresponding leaf, and `T` is the number of leaves.
- 对损失函数加入**正则项**，包括 L2 权重衰减和对叶子数的限制
-
+
- 使用**牛顿法**代替**梯度下降法**寻找最优解
@@ -629,7 +629,7 @@
- 传统 CART树寻找最优切分点的标准是**最小化均方差**；
XGBoost 通过最大化**得分公式**来寻找最优切分点：
-
+
> This formula can be decomposed as 1). the score on the new left leaf 2). the score on the new right leaf 3). The score on the original leaf 4). regularization on the additional leaf.
@@ -656,7 +656,7 @@ TODO
- Box–Muller 变换定理：
假设随机变量`U1`和`U2`是 IID(独立同分布) 的，且 `U1,U2 ∽ U(0,1)`，令`Z1,Z2`满足
-
+
则 `Z1,Z2 ∽ N(0, 1)`，即 `Z1,Z2` 服从标准正态分布。
diff --git "a/\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/ML-B-\344\270\223\351\242\230-\351\233\206\346\210\220\345\255\246\344\271\240.md" "b/A-\346\234\272\345\231\250\345\255\246\344\271\240/B-\344\270\223\351\242\230-\351\233\206\346\210\220\345\255\246\344\271\240.md"
similarity index 97%
rename from "\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/ML-B-\344\270\223\351\242\230-\351\233\206\346\210\220\345\255\246\344\271\240.md"
rename to "A-\346\234\272\345\231\250\345\255\246\344\271\240/B-\344\270\223\351\242\230-\351\233\206\346\210\220\345\255\246\344\271\240.md"
index f8412b54..c6c89237 100644
--- "a/\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/ML-B-\344\270\223\351\242\230-\351\233\206\346\210\220\345\255\246\344\271\240.md"
+++ "b/A-\346\234\272\345\231\250\345\255\246\344\271\240/B-\344\270\223\351\242\230-\351\233\206\346\210\220\345\255\246\344\271\240.md"
@@ -53,7 +53,7 @@ Index
- 基于每个采样集训练一个基学习器，并得到 `T` 个基学习器；
- 预测时，集体**投票决策****。
> **自助采样法**：对 m 个样本的训练集，有放回的采样 m 次；此时，样本在 m 次采样中始终没被采样的概率约为 `0.368`，即每次自助采样只能采样到全部样本的 `63%` 左右。
-
+
- **特点**：
- 训练每个基学习器时只使用一部分样本；
@@ -122,7 +122,7 @@ Index
- 对 `n` 个**独立不相关的模型**预测结果取平均，方差是原来的 `1/n`；
- 假设所有基分类器出错的概率是独立的，**超过半数**基分类器出错的概率会随着基分类器的数量增加而下降。
- 泛化误差、偏差、方差、过拟合、欠拟合、模型复杂度（模型容量）的关系图：
-
+
## AdaBoost 算法
diff --git "a/\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/Base-A-\346\234\257\350\257\255\350\241\250.md" "b/A-\346\234\272\345\231\250\345\255\246\344\271\240/Base-A-\346\234\257\350\257\255\350\241\250.md"
similarity index 80%
rename from "\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/Base-A-\346\234\257\350\257\255\350\241\250.md"
rename to "A-\346\234\272\345\231\250\345\255\246\344\271\240/Base-A-\346\234\257\350\257\255\350\241\250.md"
index d76b8db7..f8851210 100644
--- "a/\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/Base-A-\346\234\257\350\257\255\350\241\250.md"
+++ "b/A-\346\234\272\345\231\250\345\255\246\344\271\240/Base-A-\346\234\257\350\257\255\350\241\250.md"
@@ -14,28 +14,28 @@ Index
> [什么是指数加权平均、偏差修正？ - 郭耀华](http://www.cnblogs.com/guoyaohua/p/8544835.html) - 博客园
- **加权平均**
- 假设 `θi` 的权重分别为 `ρi`，则 `θi` 的加权平均为：
-
+
- **指数加权平均**
-
+
> 注意到越久前的记录其权重呈**指数衰减**，因此指数加权平均也称**指数衰减平均**
- **示例**：设 `ρ=0.9, v0=0`
-
+
> 其中 `v_t` 可以**近似**认为是最近 `1/1-ρ` 个值的滑动平均（`ρ=0.9`时，`0.1 * 0.9^9 ≈ 0.038`），更久前的记录其权重已近似为 0。
### 偏差修正
- 指数加权平均在前期会存在较大的**误差**
-
+
- 注意到只有当 `t -> ∞` 时，所有权重的和才接近 1，当 `t` 比较小时，并不是标准的加权平均
- **示例**：设 `ρ=0.9, v0=0`
-
+
- 当 `t` 较小时，与希望的加权平均结果差距较大
- **引入偏差修正**
-
+
- 偏差修正只对**前期**的有修正效果，**后期**当 `t` 逐渐增大时 `1-ρ^t -> 1`，将不再影响 `v_t`，与期望相符
\ No newline at end of file
diff --git "a/\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/Base-B-\345\267\245\345\205\267\345\272\223.md" "b/A-\346\234\272\345\231\250\345\255\246\344\271\240/Base-B-\345\267\245\345\205\267\345\272\223.md"
similarity index 100%
rename from "\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/Base-B-\345\267\245\345\205\267\345\272\223.md"
rename to "A-\346\234\272\345\231\250\345\255\246\344\271\240/Base-B-\345\267\245\345\205\267\345\272\223.md"
diff --git a/codes/README.md "b/A-\346\234\272\345\231\250\345\255\246\344\271\240/C-\344\270\223\351\242\230-\346\246\202\347\216\207\345\233\276\346\250\241\345\236\213.md"
similarity index 100%
rename from codes/README.md
rename to "A-\346\234\272\345\231\250\345\255\246\344\271\240/C-\344\270\223\351\242\230-\346\246\202\347\216\207\345\233\276\346\250\241\345\236\213.md"
diff --git "a/\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/DL-A-\346\267\261\345\272\246\345\255\246\344\271\240\345\237\272\347\241\200.md" "b/A-\346\267\261\345\272\246\345\255\246\344\271\240/A-\346\267\261\345\272\246\345\255\246\344\271\240\345\237\272\347\241\200.md"
similarity index 83%
rename from "\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/DL-A-\346\267\261\345\272\246\345\255\246\344\271\240\345\237\272\347\241\200.md"
rename to "A-\346\267\261\345\272\246\345\255\246\344\271\240/A-\346\267\261\345\272\246\345\255\246\344\271\240\345\237\272\347\241\200.md"
index e875b2f2..b6ceddd4 100644
--- "a/\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/DL-A-\346\267\261\345\272\246\345\255\246\344\271\240\345\237\272\347\241\200.md"
+++ "b/A-\346\267\261\345\272\246\345\255\246\344\271\240/A-\346\267\261\345\272\246\345\255\246\344\271\240\345\237\272\347\241\200.md"
@@ -105,13 +105,13 @@ Index
**标量形式**：
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;\frac{\partial&space;C}{\partial&space;{\color{Red}&space;a_j^{(L)}}}=\frac{\partial&space;C({\color{Red}&space;a_j^{(L)}},y_j)}{\partial&space;{\color{Red}&space;a_j^{(L)}}}&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;\frac{\partial&space;C}{\partial&space;{\color{Red}&space;a_j^{(L)}}}=\frac{\partial&space;C({\color{Red}&space;a_j^{(L)}},y_j)}{\partial&space;{\color{Red}&space;a_j^{(L)}}}&space;\end{aligned})
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;\frac{\partial&space;C}{{\color{Red}&space;\partial&space;a_j^{(l)}}}={\color{Teal}\sum_{k=0}^{n_l-1}}&space;\frac{\partial&space;z_k^{(l+1)}}{{\color{Red}&space;\partial&space;a_j^{(l)}}}&space;\frac{{\color{Blue}&space;\partial&space;a_k^{(l+1)}}}{\partial&space;z_k^{(l+1)}}&space;\frac{\partial&space;C}{{\color{Blue}&space;\partial&space;a_k^{(l+1)}}}&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;\frac{\partial&space;C}{{\color{Red}&space;\partial&space;a_j^{(l)}}}={\color{Teal}\sum_{k=0}^{n_l-1}}&space;\frac{\partial&space;z_k^{(l+1)}}{{\color{Red}&space;\partial&space;a_j^{(l)}}}&space;\frac{{\color{Blue}&space;\partial&space;a_k^{(l+1)}}}{\partial&space;z_k^{(l+1)}}&space;\frac{\partial&space;C}{{\color{Blue}&space;\partial&space;a_k^{(l+1)}}}&space;\end{aligned})
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;\frac{\partial&space;C}{{\color{Magenta}&space;\partial&space;w_{j,k}^{(l)}}}=\frac{\partial&space;z_j^{(l)}}{{\color{Magenta}&space;\partial&space;w_{j,k}^{(l)}}}\frac{{\color{Red}\partial&space;a_j^{(l)}}}{\partial&space;z_j^{(l)}}\frac{\partial&space;C}{{\color{Red}\partial&space;a_j^{(l)}}}&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;\frac{\partial&space;C}{{\color{Magenta}&space;\partial&space;w_{j,k}^{(l)}}}=\frac{\partial&space;z_j^{(l)}}{{\color{Magenta}&space;\partial&space;w_{j,k}^{(l)}}}\frac{{\color{Red}\partial&space;a_j^{(l)}}}{\partial&space;z_j^{(l)}}\frac{\partial&space;C}{{\color{Red}\partial&space;a_j^{(l)}}}&space;\end{aligned})
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;\frac{\partial&space;C}{{\color{Magenta}&space;\partial&space;b_{j}^{(l)}}}=\frac{\partial&space;z_j^{(l)}}{{\color{Magenta}&space;\partial&space;b_{j}^{(l)}}}\frac{{\color{Red}\partial&space;a_j^{(l)}}}{\partial&space;z_j^{(l)}}\frac{\partial&space;C}{{\color{Red}\partial&space;a_j^{(l)}}}&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;\frac{\partial&space;C}{{\color{Magenta}&space;\partial&space;b_{j}^{(l)}}}=\frac{\partial&space;z_j^{(l)}}{{\color{Magenta}&space;\partial&space;b_{j}^{(l)}}}\frac{{\color{Red}\partial&space;a_j^{(l)}}}{\partial&space;z_j^{(l)}}\frac{\partial&space;C}{{\color{Red}\partial&space;a_j^{(l)}}}&space;\end{aligned})
> 上标 `(l)` 表示网络的层，`(L)` 表示输出层（最后一层）；下标 `j` 和 `k` 指示神经元的位置；`w_jk` 表示 `l` 层的第 `j` 个神经元与`(l-1)`层第 `k` 个神经元连线上的权重
- **符号说明**，其中：
@@ -120,15 +120,15 @@ Index
- `a` 即 "activation"，表示每一层的激活值，上标`(l)`表示所在隐藏层，`(L)`表示输出层
- `C` 表示激活函数，其参数为神经网络输出层的激活值`a^(L)`，与样本的标签`y`
- 
+ 
- 以 **均方误差（MSE）** 损失函数为例，有
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;\frac{\partial&space;C}{\partial&space;{\color{Red}&space;a_j^{(L)}}}&=\frac{\partial&space;C({\color{Red}&space;a_j^{(L)}},y_j)}{\partial&space;{\color{Red}&space;a_j^{(L)}}}&space;\\&space;&=\frac{\partial&space;\left&space;(&space;\frac{1}{2}({\color{Red}a_j^{(L)}}-y_j)^2&space;\right&space;)&space;}{\partial&space;{\color{Red}a_j^{(L)}}}={\color{Red}a_j^{(L)}}-y&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;\frac{\partial&space;C}{\partial&space;{\color{Red}&space;a_j^{(L)}}}&=\frac{\partial&space;C({\color{Red}&space;a_j^{(L)}},y_j)}{\partial&space;{\color{Red}&space;a_j^{(L)}}}&space;\\&space;&=\frac{\partial&space;\left&space;(&space;\frac{1}{2}({\color{Red}a_j^{(L)}}-y_j)^2&space;\right&space;)&space;}{\partial&space;{\color{Red}a_j^{(L)}}}={\color{Red}a_j^{(L)}}-y&space;\end{aligned})
- Nielsen 的课程中提供了另一种更利于计算的表述，本质上是一样的。
- 
+ 
> [The four fundamental equations behind backpropagation](http://neuralnetworksanddeeplearning.com/chap2.html#the_four_fundamental_equations_behind_backpropagation)
@@ -154,15 +154,15 @@ Index
### 整流线性单元 `ReLU`
- 公式与图像
- [](http://www.codecogs.com/eqnedit.php?latex=g(z)=\max(0,z))
+ [](http://www.codecogs.com/eqnedit.php?latex=g(z)=\max(0,z))
- 
+ 
- ReLU 通常是激活函数较好的默认选择
#### `ReLU` 的拓展
- `ReLU` 及其扩展都基于以下公式：
- [](http://www.codecogs.com/eqnedit.php?latex=g(z;\alpha)&space;=\max(0,z)+\alpha\min(0,z))
+ [](http://www.codecogs.com/eqnedit.php?latex=g(z;\alpha)&space;=\max(0,z)+\alpha\min(0,z))
当 `α=0` 时，即标准的线性整流单元
- **绝对值整流**（absolute value rectification）
@@ -194,9 +194,9 @@ Index
### `sigmoid` 与 `tanh`
- `sigmoid(z)`，常记作 `σ(z)`:
- [](http://www.codecogs.com/eqnedit.php?latex=\sigma(z)=\frac{1}{1+\exp(-z)})
+ [](http://www.codecogs.com/eqnedit.php?latex=\sigma(z)=\frac{1}{1+\exp(-z)})
- 
+ 
- `tanh(z)` 的图像与 `sigmoid(z)` 大致相同，区别是**值域**为 `(-1, 1)`
@@ -213,7 +213,7 @@ Index
- **径向基函数（radial basis function, RBF）**：
- [](http://www.codecogs.com/eqnedit.php?latex=h_i=\exp(-\frac{1}{\sigma_i^2}\left&space;\|&space;W_{:,i}-x&space;\right&space;\|^2))
+ [](http://www.codecogs.com/eqnedit.php?latex=h_i=\exp(-\frac{1}{\sigma_i^2}\left&space;\|&space;W_{:,i}-x&space;\right&space;\|^2))
在神经网络中很少使用 RBF 作为激活函数，因为它对大部分 x 都饱和到 0，所以很难优化。
@@ -221,16 +221,16 @@ Index
`softplus` 是 `ReLU` 的平滑版本。
- [](http://www.codecogs.com/eqnedit.php?latex=g(z)=\zeta(z)=\log(1+\exp(z)))
+ [](http://www.codecogs.com/eqnedit.php?latex=g(z)=\zeta(z)=\log(1+\exp(z)))
- 
+ 
通常不鼓励使用 softplus 函数，大家可能希望它具有优于整流线性单元的性质，但根据经验来看，它并没有。
> (Glorot et al., 2011a) 比较了这两者，发现 ReLU 的结果更好。
- **硬双曲正切函数（hard tanh）**：
- [](http://www.codecogs.com/eqnedit.php?latex=g(a)=\max(-1,\min(1,a)))
+ [](http://www.codecogs.com/eqnedit.php?latex=g(a)=\max(-1,\min(1,a)))
它的形状和 tanh 以及整流线性单元类似，但是不同于后者，它是有界的。
@@ -266,24 +266,24 @@ Index
### 基本原理
- BN 方法会针对**每一批数据**，在**网络的每一层输入**之前增加**归一化**处理，使输入的均值为 `0`，标准差为 `1`。**目的**是将数据限制在统一的分布下。
- 具体来说，针对每层的第 `k` 个神经元，计算**这一批数据**在第 `k` 个神经元的均值与标准差，然后将归一化后的值作为该神经元的激活值。
-
+
- BN 可以看作在各层之间加入了一个新的计算层，**对数据分布进行额外的约束**，从而增强模型的泛化能力；
- 但同时 BN 也降低了模型的拟合能力，破坏了之前学到的**特征分布**；
- 为了**恢复数据的原始分布**，BN 引入了一个**重构变换**来还原最优的输入数据分布
-
+
其中 `γ` 和 `β` 为可训练参数。
**小结**
- 以上过程可归纳为一个 **`BN(x)` 函数**：
-
+
其中
-
+
- **完整算法**：
-
+
### BN 在训练和测试时分别是怎么做的？
- **训练时**每次会传入一批数据，做法如前述；
@@ -291,16 +291,16 @@ Index
- 训练每个 batch 时，都会得到一组`（均值，方差）`；
- 所谓全局统计量，就是对这些均值和方差求其对应的数学期望；
- 具体计算公式为：
-
+
> 其中 `μ_i` 和 `σ_i` 分别表示第 i 轮 batch 保存的均值和标准差；`m` 为 batch_size，系数 `m/(m-1)` 用于计算**无偏方差估计**
>> 原文称该方法为**移动平均**（moving averages）
- 此时，`BN(x)` 调整为：
-
+
- **完整算法**：
-
+
#### 为什么训练时不采用移动平均？
> 群里一位同学的面试题
@@ -336,8 +336,8 @@ Index
- 对目标函数添加范数正则化，训练时相当于在范数的约束下求目标函数 `J` 的最小值
- 带有**L1 范数**（左）和**L2 范数**（右）约束的二维图示
- 
- 
+ 
+ 
- 图中 `J` 与 `L1` 首次相交的点即是最优解。`L1` 在和每个坐标轴相交的地方都会有“**顶点**”出现，多维的情况下，这些顶点会更多；在顶点的位置就会产生稀疏的解。而 `J` 与这些“顶点”相交的机会远大于其他点，因此 `L1` 正则化会产生稀疏的解。
- `L2` 不会产生“**顶点**”，因此 `J` 与 `L2` 相交的点具有稀疏性的概率就会变得非常小。
@@ -363,7 +363,7 @@ Index
- 简单来说，Dropout 通过**参数共享**提供了一种廉价的 Bagging 集成近似—— Dropout 策略相当于集成了包括所有从基础网络除去部分单元后形成的子网络。
- 通常，**隐藏层**的采样概率为 `0.5`，**输入**的采样概率为 `0.8`；超参数也可以采样，但其采样概率一般为 `1`
- 
+ 
**权重比例推断规则**
- 权重比例推断规则的目的是确保在测试时一个单元的期望总输入与在训练时该单元的期望总输入大致相同。
@@ -381,7 +381,7 @@ Index
- 一些**启发式**方法会根据**输入与输出的单元数**来决定初始值的范围
- 比如 `glorot_uniform` 方法 (Glorot and Bengio, 2010)
- [](http://www.codecogs.com/eqnedit.php?latex=W_{i,j}\sim&space;U\left&space;(&space;-\sqrt&space;\frac{6}{n_{in}+n_{out}},&space;\sqrt&space;\frac{6}{n_{in}+n_{out}}&space;\right&space;))
+ [](http://www.codecogs.com/eqnedit.php?latex=W_{i,j}\sim&space;U\left&space;(&space;-\sqrt&space;\frac{6}{n_{in}+n_{out}},&space;\sqrt&space;\frac{6}{n_{in}+n_{out}}&space;\right&space;))
> Keras 全连接层默认的**权重**初始化方法
- **其他初始化方法**
- 随机正交矩阵（Orthogonal）
diff --git "a/A-\346\267\261\345\272\246\345\255\246\344\271\240/A-\346\267\261\345\272\246\345\255\246\344\271\240\345\256\236\350\267\265.md" "b/A-\346\267\261\345\272\246\345\255\246\344\271\240/A-\346\267\261\345\272\246\345\255\246\344\271\240\345\256\236\350\267\265.md"
new file mode 100644
index 00000000..fa0174b1
--- /dev/null
+++ "b/A-\346\267\261\345\272\246\345\255\246\344\271\240/A-\346\267\261\345\272\246\345\255\246\344\271\240\345\256\236\350\267\265.md"
@@ -0,0 +1,9 @@
+深度学习实践
+===
+
+Index
+---
+
+
+## 双线性池化（Bilinear pooling）
+- 双线性池化是一种特征融合方法
\ No newline at end of file
diff --git "a/\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/DL-B-\344\270\223\351\242\230-CNN.md" "b/A-\346\267\261\345\272\246\345\255\246\344\271\240/B-\344\270\223\351\242\230-CNN.md"
similarity index 85%
rename from "\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/DL-B-\344\270\223\351\242\230-CNN.md"
rename to "A-\346\267\261\345\272\246\345\255\246\344\271\240/B-\344\270\223\351\242\230-CNN.md"
index 236b7ade..727d3a1a 100644
--- "a/\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/DL-B-\344\270\223\351\242\230-CNN.md"
+++ "b/A-\346\267\261\345\272\246\345\255\246\344\271\240/B-\344\270\223\351\242\230-CNN.md"
@@ -50,19 +50,19 @@ Index
- 先把二维 `input` 展开成一维向量（`[in_h, in_w] -> [in_h * in_w]`）；如果是一批 `inputs`，则依次堆叠为一个矩阵 `[N, in_h * in_w]`；
- 然后将 `kernel` 按 stride **循环**展开成一个**稀疏矩阵**；
-
+
- 然后将卷积的计算转化为**矩阵相乘**。
-
+
### Caffe 中的实现
> [High Performance Convolutional Neural Networks for Document Processing](https://hal.inria.fr/inria-00112631/document) (2006)
- 先对 `inputs` 做 **im2col** 操作得到**输入矩阵**，再将 `kernel` 转化为**权值矩阵**，然后将两个矩阵相乘得到输出矩阵：
-
+
其中
-
+
- 其中 `o` 表示 out；`i` 表示 in；`k` 表示 kernel；
- 不包括 `batch_size` 的维度；
@@ -70,14 +70,14 @@ Index
- **im2col** 操作
> 先将一个输入矩阵（图像），重叠地划分为多个**子矩阵**（子区域），对每个子矩阵序列化成向量，然后将所有子向量**纵向**拼接成另一个矩阵；如果存在多个输入矩阵，则进一步将新生成矩阵横向拼接，最终构成一个大矩阵
-
+
> 这里可以看作是三张**单通道**图像，也可以看作是一张**三通道**的图像
>> 更直观的图示 > [caffe im2col 详解](https://blog.csdn.net/mrhiuser/article/details/52672824) - CSDN博客
>>
>> 具体的代码实现更复杂一些，因为这个图示中的操作并不能直接循环，具体请参考这篇 > [caffe源码深入学习6：超级详细的im2col绘图解析，分析caffe卷积操作的底层实现](https://blog.csdn.net/jiongnima/article/details/69736844) - CSDN博客
- 完整的计算过程
-
+
- 上半部分是卷积的直观操作，下半部分转换为矩阵乘法的操作
- 原文：“**输入为 `N=3` 个 `3*3` 的特征矩阵；输出为 `M=2` 个 `2*2` 的特征矩阵；kernel 的形状为 `2*2`，数量为 `N*M = 6` 个**”；
@@ -89,11 +89,15 @@ Index
## 卷积的反向传播
- 卷积的内部实现实际上是**矩阵相乘**，
-- 因此，卷积的**反向传播**过程实际上跟普通的全连接是一样/类似的
-
+- 因此，卷积的**反向传播**过程实际上跟普通的全连接是类似的
+
> [High Performance Convolutional Neural Networks for Document Processing](https://hal.inria.fr/inria-00112631/document)
+**相关阅读**
+- [CNN的反向传播](http://jermmy.xyz/2017/12/16/2017-12-16-cnn-back-propagation/) | Jermmy's Lazy Blog
+- https://www.zhihu.com/question/56865789/answer/150785351
+
## 卷积的结构
> [一文了解各种卷积结构原理及优劣](https://zhuanlan.zhihu.com/p/28186857) - 知乎
>
@@ -103,7 +107,7 @@ Index
**以 Conv2D 为例**
- Tensorflow 中构造 conv2d 层的参数形状为：
-
+
> `[k_height, k_width]` 表示卷积核的大小；`n_in` 表示“输入的通道数”，`n_out` 表示“输出的通道数”
- 通常在描述卷积核的大小时，只会说 `[k_height, k_width]` 这一部分；比如 “这一层使用的是 `3*3` 的卷积核”。
@@ -119,10 +123,10 @@ Index
Full padding, no strides |
-  |
-  |
-  |
-  |
+  |
+  |
+  |
+  |
| No padding, strides |
@@ -130,9 +134,9 @@ Index
Padding, strides (odd) |
-  |
-  |
-  |
+  |
+  |
+  |
@@ -155,10 +159,10 @@ Index
Full padding, no strides, transposed |
-  |
-  |
-  |
-  |
+  |
+  |
+  |
+  |
| No padding, strides, transposed |
@@ -166,20 +170,20 @@ Index
Padding, strides, transposed (odd) |
-  |
-  |
-  |
+  |
+  |
+  |
### 空洞卷积
- 空洞卷积（Atrous Convolutions）也称扩张卷积（Dilated Convolutions）、膨胀卷积。
- 
No padding, no strides.
No padding, no strides.
> 在解码的第一步，Decoder 先读取 **Encoder 的最终状态**，生成目标语言的第一个词 'W'，接着 Decoder 读取第一步的输出 'W' 作为第二步的输入，进而生成第二个词 'X'，如此直到生成 `` 或达到指定**最大长度**。
@@ -77,7 +77,7 @@ Index
- Beam Search 是一种启发式算法
- 该方法会保存前 `beam_size` 个最佳状态，每次解码时会根据所有保存的状态进行下一步**扩展**和**排序**，依然只保留前 `beam_size` 个最佳状态；循环迭代至最后一步，保存最佳选择。
- Beam Search 图示
-
+
- 当 `beam_size = 1` 时，Beam Search 即退化为贪心搜索
- 一般为了计算资源和性能的平衡，`beam_size` 会选择一个适中的范围；通常 `beam_size` 取 `8~12` 即可（机器翻译、文本摘要）
@@ -125,13 +125,13 @@ Index
- 卷积层试图将神经网络中的每一小块进行更加深入的分析，从而得出抽象程度更高的特征。
- 一般来说通过卷积层处理的神经元结点矩阵会变得更深，即神经元的组织在第三个维度上会增加。
- **时序数据**同样可以认为是在时间轴上有规律地采样而形成的一维网格
-
+
> [CNN for Sentence Classification](https://arxiv.org/abs/1408.5882) (Kim, 2014)
### 一维卷积
- 适用于序列建模的卷积网络一般就是采用的是一维卷积
-
+
- 最下层的 `x_i` 可视为句子的输入序列
- 最上层的 `g_j` 即输出序列
diff --git "a/\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/DL-\343\200\212\346\267\261\345\272\246\345\255\246\344\271\240\343\200\213\346\225\264\347\220\206.md" "b/A-\346\267\261\345\272\246\345\255\246\344\271\240/\343\200\212\346\267\261\345\272\246\345\255\246\344\271\240\343\200\213\346\225\264\347\220\206.md"
similarity index 91%
rename from "\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/DL-\343\200\212\346\267\261\345\272\246\345\255\246\344\271\240\343\200\213\346\225\264\347\220\206.md"
rename to "A-\346\267\261\345\272\246\345\255\246\344\271\240/\343\200\212\346\267\261\345\272\246\345\255\246\344\271\240\343\200\213\346\225\264\347\220\206.md"
index 5df83319..ba35aae6 100644
--- "a/\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/DL-\343\200\212\346\267\261\345\272\246\345\255\246\344\271\240\343\200\213\346\225\264\347\220\206.md"
+++ "b/A-\346\267\261\345\272\246\345\255\246\344\271\240/\343\200\212\346\267\261\345\272\246\345\255\246\344\271\240\343\200\213\346\225\264\347\220\206.md"
@@ -97,7 +97,7 @@
一些启发式初始化策略通常是根据输入与输出的单元数来决定初始权重的大小，比如 Glorot and Bengio (2010) 中建议建议使用的标准初始化，其中 m 为输入数，n 为输出数
-[](http://www.codecogs.com/eqnedit.php?latex=W_{i,j}&space;\sim&space;U(-\sqrt{\frac{6}{m+n}},\sqrt{\frac{6}{m+n}}))
+[](http://www.codecogs.com/eqnedit.php?latex=W_{i,j}&space;\sim&space;U(-\sqrt{\frac{6}{m+n}},\sqrt{\frac{6}{m+n}}))
还有一些方法推荐使用随机正交矩阵来初始化权重 (Saxe et al., 2013)。
@@ -109,7 +109,7 @@
**梯度爆炸**：
-
+
1. **梯度截断**（gradient clipping）——如果梯度超过某个阈值，就对其进行限制
@@ -263,23 +263,23 @@ L0: 向量中非零元素的个数
L1: 向量中所有元素的绝对值之和
-[](http://www.codecogs.com/eqnedit.php?latex=\left&space;\|&space;x&space;\right&space;\|_1=\sum_i{\left&space;|&space;x_i&space;\right&space;|})
+[](http://www.codecogs.com/eqnedit.php?latex=\left&space;\|&space;x&space;\right&space;\|_1=\sum_i{\left&space;|&space;x_i&space;\right&space;|})
L2: 向量中所有元素平方和的开放
-[](http://www.codecogs.com/eqnedit.php?latex=\left&space;\|&space;x&space;\right&space;\|_2=\sqrt{\sum_i{\left&space;|&space;x_i&space;\right&space;|^2}})
+[](http://www.codecogs.com/eqnedit.php?latex=\left&space;\|&space;x&space;\right&space;\|_2=\sqrt{\sum_i{\left&space;|&space;x_i&space;\right&space;|^2}})
其中 L1 和 L2 范数分别是 Lp (p>=1) 范数的特例：
-[](http://www.codecogs.com/eqnedit.php?latex=\left&space;\|&space;x&space;\right&space;\|_p=(\sum_i{\left&space;|&space;x_i&space;\right&space;|^2})^{\frac{1}{p}})
+[](http://www.codecogs.com/eqnedit.php?latex=\left&space;\|&space;x&space;\right&space;\|_p=(\sum_i{\left&space;|&space;x_i&space;\right&space;|^2})^{\frac{1}{p}})
L∞: 向量中最大元素的绝对值，也称最大范数
-[](http://www.codecogs.com/eqnedit.php?latex=\left&space;\|&space;x&space;\right&space;\|_\infty=\max_i\left&space;|&space;x&space;\right&space;|)
+[](http://www.codecogs.com/eqnedit.php?latex=\left&space;\|&space;x&space;\right&space;\|_\infty=\max_i\left&space;|&space;x&space;\right&space;|)
Frobenius 范数：相当于作用于矩阵的 L2 范数
-[](http://www.codecogs.com/eqnedit.php?latex=\left&space;\|&space;A&space;\right&space;\|_F=\sqrt{\sum_{i,j}A_{i,j}^2})
+[](http://www.codecogs.com/eqnedit.php?latex=\left&space;\|&space;A&space;\right&space;\|_F=\sqrt{\sum_{i,j}A_{i,j}^2})
**范数的应用**：正则化——权重衰减/参数范数惩罚
@@ -310,13 +310,13 @@ Frobenius 范数：相当于作用于矩阵的 L2 范数
添加 L1 正则化，相当于在 L1范数的约束下求目标函数 J 的最小值，下图展示了二维的情况：
-
+
图中 J 与 L 首次相交的点就是最优解。L1 在和每个坐标轴相交的地方都会有“角”出现（多维的情况下，这些角会更多），在角的位置就会产生稀疏的解。而 J 与这些“角”相交的机会远大于其他点，因此 L1 正则化会产生稀疏的权值。
类似的，可以得到带有 L2正则化的目标函数在二维平面上的图形，如下：
-
+
相比 L1，L2 不会产生“角”，因此 J 与 L2 相交的点具有稀疏性的概率就会变得非常小。
@@ -338,9 +338,9 @@ L1 & L2 正则化会使模型偏好于更小的权值。
## 整流线性单元（ReLU）
-[](http://www.codecogs.com/eqnedit.php?latex=g(z)=\max(0,z))
+[](http://www.codecogs.com/eqnedit.php?latex=g(z)=\max(0,z))
-
+
整流线性单元（ReLU）通常是激活函数较好的默认选择。
@@ -350,7 +350,7 @@ L1 & L2 正则化会使模型偏好于更小的权值。
ReLU 的三种拓展都是基于以下变型：
-[](http://www.codecogs.com/eqnedit.php?latex=g(z,\alpha)&space;=\max(0,z)+\alpha\min(0,z))
+[](http://www.codecogs.com/eqnedit.php?latex=g(z,\alpha)&space;=\max(0,z)+\alpha\min(0,z))
ReLU 及其扩展都是基于一个原则，那就是如果它们的行为更接近线性，那么模型更容易优化。
@@ -358,7 +358,7 @@ ReLU 及其扩展都是基于一个原则，那就是如果它们的行为更接
固定 α == -1，此时整流函数即一个绝对值函数
- [](http://www.codecogs.com/eqnedit.php?latex=g(z)&space;=\left&space;|&space;z&space;\right&space;|)
+ [](http://www.codecogs.com/eqnedit.php?latex=g(z)&space;=\left&space;|&space;z&space;\right&space;|)
绝对值整流被用于图像中的对象识别 (Jarrett et al., 2009a)，其中寻找在输入照明极性反转下不变的特征是有意义的。
@@ -388,19 +388,19 @@ ReLU 及其扩展都是基于一个原则，那就是如果它们的行为更接
在引入 ReLU 之前，大多数神经网络使用 sigmoid 激活函数：
-[](http://www.codecogs.com/eqnedit.php?latex=g(z)=\sigma(z)=\frac{1}{1+\exp(-z)})
+[](http://www.codecogs.com/eqnedit.php?latex=g(z)=\sigma(z)=\frac{1}{1+\exp(-z)})
-
+
或者 tanh（双曲正切函数）：
-[](http://www.codecogs.com/eqnedit.php?latex=g(z)&space;=&space;\tanh(z))
+[](http://www.codecogs.com/eqnedit.php?latex=g(z)&space;=&space;\tanh(z))
tanh 的图像类似于 sigmoid，区别在其值域为 (-1, 1).
这两个函数有如下关系：
-[](http://www.codecogs.com/eqnedit.php?latex=\tanh(z)=2\sigma&space;(2z)-1)
+[](http://www.codecogs.com/eqnedit.php?latex=\tanh(z)=2\sigma&space;(2z)-1)
**sigmoid 函数要点**：
- sigmoid 常作为输出单元用来预测二值型变量取值为 1 的概率
@@ -424,29 +424,29 @@ softmax 单元常作为网络的输出层，它很自然地表示了具有 k 个
**径向基函数（radial basis function, RBF）**：
-[](http://www.codecogs.com/eqnedit.php?latex=h_i=\exp(-\frac{1}{\sigma_i^2}\left&space;\|&space;W_{:,i}-x&space;\right&space;\|^2))
+[](http://www.codecogs.com/eqnedit.php?latex=h_i=\exp(-\frac{1}{\sigma_i^2}\left&space;\|&space;W_{:,i}-x&space;\right&space;\|^2))
在神经网络中很少使用 RBF 作为激活函数，因为它对大部分 x 都饱和到 0，所以很难优化。
**softplus**：
-[](http://www.codecogs.com/eqnedit.php?latex=g(z)=\zeta(z)=\log(1+\exp(z)))
+[](http://www.codecogs.com/eqnedit.php?latex=g(z)=\zeta(z)=\log(1+\exp(z)))
-
+
softplus 是 ReLU 的平滑版本。通常不鼓励使用 softplus 函数，大家可能希望它具有优于整流线性单元的点，但根据经验来看，它并没有。
> (Glorot et al., 2011a) 比较了这两者，发现 ReLU 的结果更好。
**硬双曲正切函数（hard tanh）**：
-[](http://www.codecogs.com/eqnedit.php?latex=g(z)=\max(-1,\min(1,a)))
+[](http://www.codecogs.com/eqnedit.php?latex=g(z)=\max(-1,\min(1,a)))
它的形状和 tanh 以及整流线性单元类似，但是不同于后者，它是有界的。
> Collobert, 2004
## sigmoid 和 softplus 的一些性质
-
+
> 《深度学习》 3.10 常用函数的有用性质
@@ -469,13 +469,13 @@ softplus 是 ReLU 的平滑版本。通常不鼓励使用 softplus 函数，大
自信息（self-information）是一种量化以上性质的函数，定义一个事件 x 的自信息为：
-[](http://www.codecogs.com/eqnedit.php?latex=I(x)=-\log&space;P(x))
+[](http://www.codecogs.com/eqnedit.php?latex=I(x)=-\log&space;P(x))
> 当该对数的底数为 e 时，单位为奈特（nats，本书标准）；当以 2 为底数时，单位为比特（bit）或香农（shannons）
自信息只处理单个的输出。此时，用信息熵（Information-entropy）来对整个概率分布中的不确定性总量进行量化：
-[](http://www.codecogs.com/eqnedit.php?latex=H(\mathrm{X})=\mathbb{E}_{\mathrm{X}&space;\sim&space;P}[I(x)]=-\sum_{x&space;\in&space;\mathrm{X}}P(x)\log&space;P(x))
+[](http://www.codecogs.com/eqnedit.php?latex=H(\mathrm{X})=\mathbb{E}_{\mathrm{X}&space;\sim&space;P}[I(x)]=-\sum_{x&space;\in&space;\mathrm{X}}P(x)\log&space;P(x))
> 信息熵也称香农熵（Shannon entropy）
>
@@ -485,7 +485,7 @@ softplus 是 ReLU 的平滑版本。通常不鼓励使用 softplus 函数，大
P 对 Q 的 **KL散度**（Kullback-Leibler divergence）：
-[](http://www.codecogs.com/eqnedit.php?latex=D_P(Q)=\mathbb{E}_{\mathrm{X}\sim&space;P}\left&space;[&space;\log&space;\frac{P(x)}{Q(x)}&space;\right&space;]=\sum_{x&space;\in&space;\mathrm{X}}P(x)\left&space;[&space;\log&space;P(x)-\log&space;Q(x)&space;\right&space;])
+[](http://www.codecogs.com/eqnedit.php?latex=D_P(Q)=\mathbb{E}_{\mathrm{X}\sim&space;P}\left&space;[&space;\log&space;\frac{P(x)}{Q(x)}&space;\right&space;]=\sum_{x&space;\in&space;\mathrm{X}}P(x)\left&space;[&space;\log&space;P(x)-\log&space;Q(x)&space;\right&space;])
**KL 散度在信息论中度量的是那个直观量**：
@@ -497,13 +497,13 @@ P 对 Q 的 **KL散度**（Kullback-Leibler divergence）：
**交叉熵**（cross-entropy）：
-[](http://www.codecogs.com/eqnedit.php?latex=H_P(Q)=-\mathbb{E}_{\mathrm{X}\sim&space;P}\log&space;Q(x)=-\sum_{x&space;\in&space;\mathrm{X}}P(x)\log&space;Q(x))
+[](http://www.codecogs.com/eqnedit.php?latex=H_P(Q)=-\mathbb{E}_{\mathrm{X}\sim&space;P}\log&space;Q(x)=-\sum_{x&space;\in&space;\mathrm{X}}P(x)\log&space;Q(x))
> [信息量，信息熵，交叉熵，KL散度和互信息（信息增益）](https://blog.csdn.net/haolexiao/article/details/70142571) - CSDN博客
**交叉熵与 KL 散度的关系**：
-[](http://www.codecogs.com/eqnedit.php?latex=H_P(Q)=H(P)+D_P(Q))
+[](http://www.codecogs.com/eqnedit.php?latex=H_P(Q)=H(P)+D_P(Q))
**针对 Q 最小化交叉熵等价于最小化 P 对 Q 的 KL 散度**，因为 Q 并不参与被省略的那一项。
@@ -520,12 +520,12 @@ P 对 Q 的 **KL散度**（Kullback-Leibler divergence）：
必须对上溢和下溢进行**数值稳定**的一个例子是 **softmax 函数**：
-[](http://www.codecogs.com/eqnedit.php?latex=\mathrm{softmax}(x)=\frac{\exp(x_i)}{\sum_{j=1}^n&space;\exp(x_j)})
+[](http://www.codecogs.com/eqnedit.php?latex=\mathrm{softmax}(x)=\frac{\exp(x_i)}{\sum_{j=1}^n&space;\exp(x_j)})
因为 softmax 解析上的函数值不会因为从输入向量减去或加上**标量**而改变，
于是一个简单的解决办法是对 x：
-[](http://www.codecogs.com/eqnedit.php?latex=x=x-\max_ix_i)
+[](http://www.codecogs.com/eqnedit.php?latex=x=x-\max_ix_i)
减去 `max(x_i)` 导致 `exp` 的最大参数为 `0`，这排除了上溢的可能性。同样地，分母中至少有一个值为 `1=exp(0)` 的项，这就排除了因分母下溢而导致被零除的可能性。
@@ -553,11 +553,11 @@ P 对 Q 的 **KL散度**（Kullback-Leibler divergence）：
高斯分布，即正态分布（normal distribution）：
-[](http://www.codecogs.com/eqnedit.php?latex=N(x;\mu,\sigma^2)=\sqrt\frac{1}{2\pi\sigma^2}\exp\left&space;(&space;-\frac{1}{2\sigma^2}(x-\mu)^2&space;\right&space;))
+[](http://www.codecogs.com/eqnedit.php?latex=N(x;\mu,\sigma^2)=\sqrt\frac{1}{2\pi\sigma^2}\exp\left&space;(&space;-\frac{1}{2\sigma^2}(x-\mu)^2&space;\right&space;))
概率密度函数图像：
-
+
其中峰的 `x` 坐标由 `µ` 给出，峰的宽度受 `σ` 控制；特别的，当 `µ = 0, σ = 1`时，称为标准正态分布
@@ -573,7 +573,7 @@ P 对 Q 的 **KL散度**（Kullback-Leibler divergence）：
正态分布可以推广到 n 维空间，这种情况下被称为**多维正态分布**。
-
+
参数 `µ` 仍然表示分布的均值，只不过现在是一个向量。参数 Σ 给出了分布的协方差矩阵（一个正定对称矩阵）。
@@ -597,7 +597,7 @@ P 对 Q 的 **KL散度**（Kullback-Leibler divergence）：
深度学习（deep learning）通过简单的表示来表达复杂的表示，以解决表示学习中的核心问题。
-
+
深度学习模型的示意图
@@ -650,7 +650,7 @@ P 对 Q 的 **KL散度**（Kullback-Leibler divergence）：
**多任务学习中一种普遍形式**：
-
+
多任务学习在深度学习框架中可以以多种方式进行，该图展示了一种普遍形式：任务共享相同输入但涉及不同语义的输出。
@@ -679,7 +679,7 @@ P 对 Q 的 **KL散度**（Kullback-Leibler divergence）：
可以想象，这些任务会足够相似（或许具有相似的输入和输出分布），因此我们认为模型参数 w(A) 和 w(B) 应彼此靠近。具体来说，我们可以使用以下形式的参数范数惩罚（这里使用的是 L2 惩罚，也可以使用其他选择）：
-[](http://www.codecogs.com/eqnedit.php?latex=\Omega&space;(w^{(A)},w^{(B)})=\left&space;\|&space;w^{(A)}-w^{(B)}&space;\right&space;\|^2_2)
+[](http://www.codecogs.com/eqnedit.php?latex=\Omega&space;(w^{(A)},w^{(B)})=\left&space;\|&space;w^{(A)}-w^{(B)}&space;\right&space;\|^2_2)
**参数共享**是这个思路下更流行的做法——强迫部分参数相等
@@ -703,7 +703,7 @@ Bagging（bootstrap aggregating）是通过结合几个模型降低泛化误差
具体来说，Bagging 涉及构造 k 个**不同的数据集**。每个数据集从原始数据集中**重复采样**构成，和原始数据集具有**相同数量**的样例。这意味着，每个数据集以高概率缺少一些来自原始数据集的例子，还包含若干重复的例子（更具体的，如果采样所得的训练集与原始数据集大小相同，那所得数据集中大概有原始数据集 **2/3** 的实例）
-
+
**图像说明**：该图描述了 Bagging 如何工作。假设我们在上述数据集（包含一个 8、一个 6 和一个 9）上**训练数字 8** 的检测器。假设我们制作了两个不同的重采样数据集。 Bagging 训练程序通过有放回采样构建这些数据集。第一个数据集忽略 9 并重复 8。在这个数据集上，检测器得知数字**顶部有一个环就对应于一个 8**。第二个数据集中，我们忽略 6 并重复 9。在这种情况下，检测器得知数字**底部有一个环就对应于一个 8**。这些单独的分类规则中的每一个都是不可靠的，但如果我们平均它们的输出，就能得到鲁棒的检测器，**只有当 8 的两个环都存在时才能实现最大置信度**。
@@ -716,7 +716,7 @@ Bagging（bootstrap aggregating）是通过结合几个模型降低泛化误差
简单来说，Dropout (Srivastava et al., 2014) 通过**参数共享**提供了一种廉价的 **Bagging** 集成近似，能够训练和评估**指数级数量**的神经网络。
-
+
Dropout 训练的集成包括所有从基础网络除去部分单元后形成的子网络。具体而言，只需将一些单元的**输出乘零**就能有效地删除一个单元。
@@ -787,8 +787,8 @@ Dropout 训练的集成包括所有从基础网络除去部分单元后形成的
二维和三维中的鞍点：
-
-
+
+
> 《深度学习》 4.3 基于梯度的优化方法
**鞍点激增对于训练算法来说有哪些影响？**
@@ -814,11 +814,11 @@ Dropout 训练的集成包括所有从基础网络除去部分单元后形成的
另一个想法是：正则化或约束参数，以引导“信息流”；或者说，希望**梯度向量**在反向传播时能维持其幅度。形式上，我们要使
-[](http://www.codecogs.com/eqnedit.php?latex=(\nabla_{h^{(t)}}L)\frac{\partial&space;h^{(t)}}{\partial&space;h^{(t-1)}})
+[](http://www.codecogs.com/eqnedit.php?latex=(\nabla_{h^{(t)}}L)\frac{\partial&space;h^{(t)}}{\partial&space;h^{(t-1)}})
与梯度向量
-[](http://www.codecogs.com/eqnedit.php?latex=\nabla_{h^{(t)}}L)
+[](http://www.codecogs.com/eqnedit.php?latex=\nabla_{h^{(t)}}L)
一样大。
@@ -828,7 +828,7 @@ Dropout 训练的集成包括所有从基础网络除去部分单元后形成的
2. 在这个目标下， Pascanu et al. (2013a) 提出了以下正则项：
- 
+ 
这种方法的一个主要弱点是，在处理数据冗余的任务时如语言模型，它并不像 LSTM 一样有效。
@@ -838,7 +838,7 @@ Dropout 训练的集成包括所有从基础网络除去部分单元后形成的
## （批）随机梯度下降（SGD）与学习率
-
+
SGD 及相关的小批量亦或更广义的基于梯度优化的在线学习算法，一个重要的性质是每一步更新的计算时间不依赖训练样本数目的多寡。因为它每个 step 的样本数是固定的。
@@ -850,7 +850,7 @@ SGD 算法中的一个关键参数是学习率。在实践中，有必要**随
实践中，一般会线性衰减学习率直到第 τ 次迭代：
-[](http://www.codecogs.com/eqnedit.php?latex=\epsilon_k=(1-\alpha)\epsilon_0+\alpha\epsilon_\tau)
+[](http://www.codecogs.com/eqnedit.php?latex=\epsilon_k=(1-\alpha)\epsilon_0+\alpha\epsilon_\tau)
其中 α=k/τ。在 τ 步迭代之后，一般使 ϵ 保持常数。
@@ -867,13 +867,13 @@ SGD 算法中的一个关键参数是学习率。在实践中，有必要**随
## 带动量的 SGD
-
+
从形式上看， 动量算法引入了变量 v 充当速度角色——它代表参数在参数空间移动的方向和速率。速度被设为负梯度的指数衰减平均。
之前，步长只是梯度范数乘以学习率。现在，步长取决于梯度序列的大小和排列。当许多连续的梯度指向相同的方向时，步长最大。如果动量算法总是观测到梯度 g，那么它会在方向 −g 上不停加速，直到达到最终速度，其中步长大小为
-[](http://www.codecogs.com/eqnedit.php?latex=\frac{\epsilon\left\|g\right\|}{1-\alpha})
+[](http://www.codecogs.com/eqnedit.php?latex=\frac{\epsilon\left\|g\right\|}{1-\alpha})
在实践中，α 的一般取值为 0.5, 0.9 和 0.99，分别对应**最大速度** 2倍，10倍和100倍于普通的 SGD 算法。和学习率一样， α 也应该随着时间不断调整（变大），但没有收缩 ϵ 重要。
@@ -886,8 +886,8 @@ SGD 算法中的一个关键参数是学习率。在实践中，有必要**随
带有动量的 SGD（左/上） 和不带动量的 SGD（右/下）：
-
-
+
+
> 《深度学习》 4.3.1 梯度之上： Jacobian 和 Hessian 矩阵
此图说明动量如何克服病态的问题：等高线描绘了一个二次损失函数（具有病态条件的 Hessian 矩阵）。一个病态条件的二次目标函数看起来像一个长而窄的山谷或具有陡峭边的峡谷。带动量的 SGD 能比较正确地纵向穿过峡谷；而普通的梯度步骤则会浪费时间在峡谷的窄轴上来回移动，因为梯度下降无法利用包含在 Hessian 矩阵中的曲率信息。
@@ -896,11 +896,11 @@ SGD 算法中的一个关键参数是学习率。在实践中，有必要**随
受 Nesterov 加速梯度算法 (Nesterov, 1983, 2004) 启发， Sutskever et al. (2013) 提出了动量算法的一个变种。其更新规则如下：
-
+
其中参数 α 和 ϵ 发挥了和标准动量方法中类似的作用。Nesterov 动量和标准动量之间的**区别体现在梯度计算**上。下面是完整的 Nesterov 动量算法：
-
+
Nesterov 动量中，梯度计算在施加当前速度之后。因此，Nesterov 动量可以解释为往标准动量方法中添加了一个校正因子。
@@ -916,7 +916,7 @@ Delta-bar-delta (Jacobs, 1988) 是一个早期的自适应学习率算法。该
## AdaGrad
-
+
AdaGrad 会独立地适应所有模型参数的学习率。具体来说，就是缩放每个参数反比于其所有梯度历史平方值总和的平方根 (Duchi et al., 2011)。效果上具有损失最大偏导的参数相应地有一个快速下降的学习率，而具有小偏导的参数在学习率上有相对较小的下降。
@@ -924,7 +924,7 @@ AdaGrad 会独立地适应所有模型参数的学习率。具体来说，就是
## RMSProp
-
+
RMSProp 修改自 AdaGrad。AdaGrad 旨在应用于**凸问题**时快速收敛，而 RMSProp 在**非凸**设定下效果更好，改变梯度积累为指数加权的移动平均。
@@ -936,11 +936,11 @@ RMSProp 使用指数衰减平均以丢弃遥远过去的历史，使其能够在
**结合 Nesterov 动量的 RMSProp**
-
+
## Adam
-
+
Adam (Kingma and Ba, 2014) 是另一种学习率自适应的优化算法。
@@ -968,7 +968,7 @@ Adam (Kingma and Ba, 2014) 是另一种学习率自适应的优化算法。
**BN 算法**：
-
+
BN 算法需要学习两个参数 γ 和 β.
> Ioffe and Szegedy, 2015, Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
@@ -1003,7 +1003,7 @@ BN 算法需要学习两个参数 γ 和 β.
传统的神经网络中每一个输出单元会与每一个输入单元都产生交互。卷积网络改进了这一点，使具有稀疏交互的特征。CNN 通过使核（kernel、filter）的大小远小于输入的大小来达到的这个目的。
-
+
举个例子，当处理一张图像时，输入的图像可能包含成千上万个像素点，但是我们可以通过只占用几十到上百个像素点的核来**检测一些小的、有意义的特征**，例如图像的边缘。
@@ -1015,7 +1015,7 @@ BN 算法需要学习两个参数 γ 和 β.
虽然看似减少了隐藏单元之间的交互，但实际上处在深层的单元可以间接地连接到全部或者大部分输入。
-
+
## 参数共享（parameter sharing）
@@ -1026,7 +1026,7 @@ BN 算法需要学习两个参数 γ 和 β.
考虑一个具体的例子——**边缘检测**——来体会稀疏连接+参数共享带来的效率提升：
-
+
两个图像的高度均为 280 个像素。输入图像的宽度为 320 个像素，而输出图像的宽度为 319 个像素（padding='VALID'）。对于边缘检测任务而言，只需要一个包含**两个元素的卷积核**就能完成；而为了用矩阵乘法描述相同的变换，需要一个包含 320 × 280 × 319 × 280 ≈ 80亿个元素的矩阵（40亿倍）。
@@ -1077,7 +1077,7 @@ BN 算法需要学习两个参数 γ 和 β.
原书中也描述一些基本卷积的变体：局部卷积、平铺卷积；
-
+
> 从上到下一次为局部卷积、平铺卷积和标准卷积；
>
> 《深度学习》 9.5 基本卷积函数的变体
@@ -1086,14 +1086,14 @@ BN 算法需要学习两个参数 γ 和 β.
## 转置卷积|反卷积（Transposed convolution）
-
+
> No padding, no strides, transposed
> [如何理解深度学习中的deconvolution networks？](https://www.zhihu.com/question/43609045) - 知乎
## 空洞卷积|扩张卷积（Dilated convolution）
-
+
> No padding, no stride, dilation
> [如何理解空洞卷积（dilated convolution）？](https://www.zhihu.com/question/54149221) - 知乎
@@ -1135,7 +1135,7 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
（最大）池化对平移是天然不变的，但池化也能用于学习其他不变性：
-
+
这三个过滤器都旨在检测手写的数字 5。每个过滤器尝试匹配稍微**不同方向**的 5。当输入中出现 5 时，无论哪个探测单元被激活，最大池化单元都将产生较大的响应。
@@ -1177,7 +1177,7 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
循环神经网络中一些重要的设计模式包括以下几种：
1. （*）每个时间步都有输出，并且隐藏单元之间有循环连接的循环网络
- 
+ 
- 将 x 值的输入序列映射到输出值 o 的对应序列
- 损失 L 衡量每个 o 与相应的训练目标 y 的距离
@@ -1188,14 +1188,14 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
2. 每个时间步都产生一个输出，只有当前时刻的输出到下个时刻的隐藏单元之间有循环连接的循环网络
- 
+ 
- 此类 RNN 的唯一循环是从输出 o 到隐藏层 h 的反馈连接
- 表示能力弱于 RNN_1，单更容易训练
3. 隐藏单元之间存在循环连接，但读取整个序列后产生单个输出的循环网络
- 
+ 
这样的网络可以用于概括序列并产生用于进一步处理的固定大小的表示
@@ -1214,11 +1214,11 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
根据隐层 h(t) 接受的是上时刻的隐层 h(t−1) 还是上时刻的输出 y(t−1)，分为两种 RNN：
- Elman RNN
- [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;h^{(t)}&=\tanh\left(&space;W_hx^{(t)}+U_hh^{(t-1)}+b_h&space;\right)\\&space;y^{(t)}&={\rm&space;softmax}\left(&space;W_yh^{(t)}+b_y&space;\right)\\&space;\end{aligned})
+ [](http://www.codecogs.com/eqnedit.php?latex=\begin{aligned}&space;h^{(t)}&=\tanh\left(&space;W_hx^{(t)}+U_hh^{(t-1)}+b_h&space;\right)\\&space;y^{(t)}&={\rm&space;softmax}\left(&space;W_yh^{(t)}+b_y&space;\right)\\&space;\end{aligned})
- Jordan RNN
- [](http://www.codecogs.com/eqnedit.php?latex={\displaystyle&space;{\begin{aligned}&space;h^{(t)}&=\tanh\left(&space;W_hx^{(t)}+U_hy^{(t-1)}+b_h&space;\right)\\&space;y^{(t)}&={\rm&space;softmax}\left(&space;W_yh^{(t)}+b_y&space;\right)\&space;\end{aligned}}})
+ [](http://www.codecogs.com/eqnedit.php?latex={\displaystyle&space;{\begin{aligned}&space;h^{(t)}&=\tanh\left(&space;W_hx^{(t)}+U_hy^{(t-1)}+b_h&space;\right)\\&space;y^{(t)}&={\rm&space;softmax}\left(&space;W_yh^{(t)}+b_y&space;\right)\&space;\end{aligned}}})
> 《深度学习》 默认的 RNN 是 Elman RNN > [37. RNN（循环神经网络） 的几种基本设计模式**](#37-rnn循环神经网络-的几种基本设计模式)
@@ -1227,7 +1227,7 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
**LSTM**
> [Long short-term memory](https://en.wikipedia.org/wiki/Long_short-term_memory#Variants) - Wikipedia
-[](http://www.codecogs.com/eqnedit.php?latex={\displaystyle&space;{\begin{aligned}&space;f_{t}&=\sigma(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\&space;i_{t}&=\sigma(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\\&space;\tilde{c}_{t}&=\tanh(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\\&space;c_{t}&=f_{t}\circ&space;c_{t-1}+i_{t}\circ&space;\tilde{c}_{t}\\&space;o_{t}&=\sigma(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\\&space;h_{t}&=o_{t}\circ&space;\tanh(c_{t})&space;\end{aligned}}})
+[](http://www.codecogs.com/eqnedit.php?latex={\displaystyle&space;{\begin{aligned}&space;f_{t}&=\sigma(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\&space;i_{t}&=\sigma(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\\&space;\tilde{c}_{t}&=\tanh(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\\&space;c_{t}&=f_{t}\circ&space;c_{t-1}+i_{t}\circ&space;\tilde{c}_{t}\\&space;o_{t}&=\sigma(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\\&space;h_{t}&=o_{t}\circ&space;\tanh(c_{t})&space;\end{aligned}}})
- 其中 f 为遗忘门（forget），i 为输入门（input），o 为输出门（output）。
- 每个门的输入都是 x 和 h，但是参数都是独立的（参数数量是基本 RNN 的 4 倍）
@@ -1241,7 +1241,7 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
**GRU**
> [Gated recurrent unit](https://en.wikipedia.org/wiki/Gated_recurrent_unit#Architecture) - Wikipedia
-[](http://www.codecogs.com/eqnedit.php?latex={\displaystyle&space;{\begin{aligned}&space;z_{t}&=\sigma(W_{z}x_{t}+U_{z}h_{t-1}+b_{z})\\&space;r_{t}&=\sigma(W_{r}x_{t}+U_{r}h_{t-1}+b_{r})\\&space;\tilde{h}_t&=\tanh(W_{h}x_{t}+U_{h}(r_{t}\circ&space;h_{t-1})+b_{h})\\&space;h_{t}&=(1-z_{t})\circ&space;h_{t-1}+z_{t}\circ&space;\tilde{h}_t&space;\end{aligned}}})
+[](http://www.codecogs.com/eqnedit.php?latex={\displaystyle&space;{\begin{aligned}&space;z_{t}&=\sigma(W_{z}x_{t}+U_{z}h_{t-1}+b_{z})\\&space;r_{t}&=\sigma(W_{r}x_{t}+U_{r}h_{t-1}+b_{r})\\&space;\tilde{h}_t&=\tanh(W_{h}x_{t}+U_{h}(r_{t}\circ&space;h_{t-1})+b_{h})\\&space;h_{t}&=(1-z_{t})\circ&space;h_{t-1}+z_{t}\circ&space;\tilde{h}_t&space;\end{aligned}}})
- 其中 z 为更新门（update），r 为重置门（reset）
- GRU 可以看作是将 LSTM 中的遗忘门和输入门合二为一了
@@ -1260,14 +1260,14 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
**自编码器的一般结构**
-
+
- 自编码器有两个组件：**编码器** f（将 x 映射到 h）和**解码器** g（将 h 映射到 r）
- 一个简单的自编码器试图学习 `g(f(x)) = x`；换言之，自编码器尝试将输入复制到输出
- 单纯将输入复制到输出没什么用，相反，训练自编码器的目标是获得有用的特征 h。
自编码器的学习过程就是最小化一个损失函数：
-[](http://www.codecogs.com/eqnedit.php?latex=L(\boldsymbol{x},g(f(\boldsymbol{x}))))
+[](http://www.codecogs.com/eqnedit.php?latex=L(\boldsymbol{x},g(f(\boldsymbol{x}))))
# 自编码器一些常见的变形与应用：正则自编码器、稀疏自编码器、去噪自编码器*
@@ -1293,7 +1293,7 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
- 稀疏自编码器一般用来学习特征
- 稀疏自编码器简单地在训练时结合编码层的**稀疏惩罚** Ω(h) 和重构误差：
- [](http://www.codecogs.com/eqnedit.php?latex=L(\boldsymbol{x},g(f(\boldsymbol{x})))+\Omega(\boldsymbol{h})&space;=&space;L(\boldsymbol{x},g(f(\boldsymbol{x})))+\lambda\sum_i\left|h_i\right|)
+ [](http://www.codecogs.com/eqnedit.php?latex=L(\boldsymbol{x},g(f(\boldsymbol{x})))+\Omega(\boldsymbol{h})&space;=&space;L(\boldsymbol{x},g(f(\boldsymbol{x})))+\lambda\sum_i\left|h_i\right|)
- 稀疏惩罚不算是一个正则项。这仅仅影响模型关于潜变量的分布。这个观点提供了训练自编码器的另一个动机：这是近似训练生成模型的一种途径。这也给出了为什么自编码器学到的特征是有用的另一个解释：它们描述的潜变量可以解释输入。
> 《深度学习》 14.2.1 稀疏自编码器
@@ -1302,12 +1302,12 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
- 去噪自编码器试图学习**更具鲁棒性的**特征
- 与传统自编码器不同，去噪自编码器（denoising autoencoder, DAE）最小化：
- [](http://www.codecogs.com/eqnedit.php?latex=L(\boldsymbol{x},g(f(\boldsymbol{\tilde{x}}))))
+ [](http://www.codecogs.com/eqnedit.php?latex=L(\boldsymbol{x},g(f(\boldsymbol{\tilde{x}}))))
- 这里的 x~ 是**被某种噪声损坏**的 x 的副本，去噪自编码器需要预测原始未被损坏数据
- 破坏的过程一般是以某种概率分布（通常是二项分布）将一些值置 0.
- 
+ 
> 《深度学习》 14.2.2 去噪自编码器，14.5 去噪自编码器
**为什么DAE有用？**
@@ -1327,8 +1327,8 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
## 什么是分布式表示？
- 所谓分布式表示就是用不同的特征，通过**组合**来表示不同的概念
- 
- 
+ 
+ 
（左）是 one-hot 表示（一种稀疏表示），（右）为分布式表示
> [神经网络如何学习分布式表示](http://baijiahao.baidu.com/s?id=1593632865778730392) - 百家号
@@ -1347,8 +1347,8 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
**分布式表示与符号表示**（最近邻）：
-
-
+
+
- 两者都在学习如何将输入空间分割成多个区域
- 在输入维度相同的情况下，分布式表示能够比非分布式表示多分配指数级的区域——这一特性可用于解决**维度灾难**问题
@@ -1388,7 +1388,7 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
为了充分理解这个问题，我们假设输入空间如图所示被分成单元格。
-
+
- 当数据的维度增大时（从左向右），我们感兴趣的配置数目会随指数级增长。
- 当空间是低维时，我们可以用由少量单元格去描述这个空间。泛化到新数据点时，通过检测和单元格中的训练样本的相似度，我们可以判断如何处理新数据点。
@@ -1415,8 +1415,8 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
- 迁移学习与多任务学习的一些结构：
- 
- 
+ 
+ 
> （左）> 《深度学习》 15.2 迁移学习和领域自适应；（右）> 《深度学习》 7.7 多任务学习
- 这两种都可能是迁移学习或者多任务学习的结构。~~迁移学习的输入在每个任务上具有不同的意义（甚至不同的维度），但是输出在所有的任务上具有**相同的语义**；多任务学习则相反~~
@@ -1438,7 +1438,7 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
**多模态学习（multi-modal learning）**
- 与 zero-shot learning 相同的原理可以解释如何能执行**多模态学习**（multimodal learning）
- 
+ 
> 《深度学习》 15.2 迁移学习和领域自适应 图 15.3
@@ -1452,18 +1452,18 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
- 有向图模型（directed graphical model）是一种结构化概率模型，也被称为**信念网络**（belief network）或者**贝叶斯网络**（Bayesian network）
- 描述接力赛例子的有向图模型
- 
+ 
- Alice 在 Bob 之前开始，所以 Alice 的完成时间 t0 影响了 Bob 的完成时间 t1。
- Carol 只会在 Bob 完成之后才开始，所以 Bob 的完成时间 t1 直接影响了 Carol 的完成时间 t2。
- 正式地说，变量 x 的有向概率模型是通过有向无环图 G（每个结点都是模型中的随机变量）和一系列**局部条件概率分布**（local conditional probability distribution）来定义的，x 的概率分布可以表示为：
- 
+ 
- 其中 大P 表示结点 xi 的所有父结点
- 上述接力赛例子的概率分布可表示为：
- 
+ 
**无向图模型**
- 无向图模型（undirected graphical Model），也被称为**马尔可夫随机场**（Markov random field, MRF）或者是**马尔可夫网络**（Markov network）
@@ -1519,14 +1519,14 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
- 在许多任务中，对比度是能够安全移除的最为明显的变化源之一。简单地说，对比度指的是图像中亮像素和暗像素之间差异的大小。
- 整个图像的对比度可以表示为：
- ，其中
+ ，其中
- ，整个图片的平均强度
+ ，整个图片的平均强度
**全局对比度归一化**（Global contrast normalization, GCN）
- GCN 旨在通过从每个图像中减去其平均值，然后重新缩放其使得其像素上的标准差等于某个常数 s 来防止图像具有变化的对比度。定义为：
- 
+ 
- 从大图像中剪切感兴趣的对象所组成的数据集不可能包含任何强度几乎恒定的图像。此时，设置 λ = 0 来忽略小分母问题是安全的。(Goodfellow et al. 2013c)
- 随机剪裁的小图像更可能具有几乎恒定的强度，使得激进的正则化更有用。此时可以加大 λ (ϵ = 0, λ = 10; Coates et al. 2011)
- 尺度参数 s 通常可以设置为 1 (Coates et al. 2011)，或选择使所有样本上每个像素的标准差接近 1 (Goodfellow et al. 2013c)
@@ -1535,7 +1535,7 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
- 式中的标准差可以看作是对图片 L2 范数的重新缩放（假设移除了均值），但我们倾向于标准差而不是 L2 范数来定义 GCN，是因为标准差包括除以像素数量这一步，从而基于标准差的 GCN 能够使用与图像大小无关的固定的 s.
- 而将标准差视为 L2 范数的缩放，可以将 GCN 理解成到球壳的一种映射。这可能是一个有用的属性，因为神经网络往往更好地响应空间方向，而不是精确的位置。
- 
+ 
- (左) 原始的输入数据可能拥有任意的范数。
- (中) λ = 0 时候的 GCN 可以完美地将所有的非零样本投影到球上。这里我们令 s = 1， ϵ = 10−8。由于我们使用的 GCN 是基于归一化标准差而不是 L2 范数，所得到的球并不是单位球。
- (右) λ > 0 的正则化 GCN 将样本投影到球上，但是并没有完全地丢弃其范数中变化。 s 和 ϵ 的取值与之前一样。
@@ -1548,7 +1548,7 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
- GCN 存在的问题催生了 LCN
- LCN 确保对比度在每个小窗口上被归一化，而不是作为整体在图像上被归一化。
- 
+ 
- LCN 通常可以通过使用可分离卷积来计算特征映射的局部平均值和局部标准差，然后在不同的特征映射上使用逐元素的减法和除法。
- LCN 是可微分的操作，并且还可以作为一种非线性作用应用于网
@@ -1585,12 +1585,12 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
- 一个 n-gram 是一个包含 n 个**标记**的序列。
- 基于 n-gram 的模型定义一个条件概率——给定前 n − 1 个标记后的第 n 个标记的条件概率：
- 
+ 
- 训练 n-gram 模型很简单，因为最大似然估计可以通过简单地统计每个可能的 n-gram 在训练集中**出现的频数**来获得。
- 通常我们同时训练 n-gram 模型和 n − 1 gram 模型。这使得下式可以简单地通过查找两个存储的概率来计算。
- 
+ 
- n-gram 模型的缺点：
- **稀疏问题**——n-gram 模型最大似然的基本限制是，在许多情况下从训练集计数估计得到的 Pn 很可能为零。由此产生了各种**平滑算法**。
- **维数灾难**——经典的 n-gram 模型特别容易引起维数灾难。因为存在 |V|^n 可能的 n-gram，而且 |V| 通常很大。
@@ -1606,7 +1606,7 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
- 在原始空间中，每个词由一个one-hot向量表示，因此每对词彼此之间的欧氏距离都是 √2。
- 在**嵌入空间**中，经常出现在类似上下文中的词彼此接近。这通常导致具有相似含义的词变得邻近。
- 
+ 
- 这些嵌入是为了可视化才表示为 2 维。在实际应用中，嵌入通常具有更高的维度并且可以同时捕获词之间多种相似性。
**高维输出**
@@ -1634,7 +1634,7 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
**神经机器翻译**（NMT）
- 编码器和解码器的想法 (Allen 1987; Chrisman 1991; Forcada and Ñeco 1997)很早就应用到了 NMT 中。
- 
+ 
- 基于 MLP 方法的缺点是需要将序列预处理为固定长度。为了使翻译更加灵活，我们希望模型允许可变的输入长度和输出长度。所以大量的 NMT 模型使用 RNN 作为基本单元。
@@ -1642,7 +1642,7 @@ net = MaxPooling2D(pool_size=(2, 2))(net)
- 使用固定大小的表示概括非常长的句子（例如 60 个词）的所有语义细节是非常困难的。这需要使用足够大的 RNN。这会带来一些列训练问题。
- 更高效的方法是先读取整个句子或段落（以获得正在表达的上下文和焦点），然后一次翻译一个词，每次聚焦于输入句子的不同部分来收集产生下一个输出词所需的语义细节 (Bahdanau et al., 2015)——**Attention** 机制
- 
+ 
- 由 Bahdanau et al. (2015) 引入的现代注意力机制，本质上是**加权平均**。
**其他应用**：
diff --git "a/\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/NLP-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206\345\237\272\347\241\200.md" "b/A-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/A-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206\345\237\272\347\241\200.md"
similarity index 87%
rename from "\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/NLP-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206\345\237\272\347\241\200.md"
rename to "A-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/A-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206\345\237\272\347\241\200.md"
index b4163fc0..f5e4f0c9 100644
--- "a/\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/NLP-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206\345\237\272\347\241\200.md"
+++ "b/A-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/A-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206\345\237\272\347\241\200.md"
@@ -65,7 +65,7 @@ Index
预测
评价
```
-
+
- 最重要的部分：数据收集、预处理、特征工程
- 示例
@@ -120,10 +120,10 @@ Index
## Seq2Seq 模型
> [NLP-序列建模](./NLP-序列建模.md)
- 大部分自然语言问题都可以使用 Seq2Seq 模型解决
-
+
- **“万物”皆 Seq2Seq**
-
+
## 评价机制
@@ -136,23 +136,23 @@ Index
基本公式
- **概率分布**（离散）的困惑度
- 
- 
+ 
- >> 
+ >> 
这个过程相当于对样本进行了改写，使得训练样本的数量大大增加
- QANet 中的做法：
- 
diff --git a/codes/my_tensorflow/src/__init__.py "b/A-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/B-\344\270\223\351\242\230-\345\217\245\345\220\221\351\207\217.md"
similarity index 100%
rename from codes/my_tensorflow/src/__init__.py
rename to "A-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/B-\344\270\223\351\242\230-\345\217\245\345\220\221\351\207\217.md"
diff --git "a/\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/NLP-\344\270\223\351\242\230-A-\350\257\215\345\220\221\351\207\217.md" "b/A-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/B-\344\270\223\351\242\230-\350\257\215\345\220\221\351\207\217.md"
similarity index 89%
rename from "\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/NLP-\344\270\223\351\242\230-A-\350\257\215\345\220\221\351\207\217.md"
rename to "A-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/B-\344\270\223\351\242\230-\350\257\215\345\220\221\351\207\217.md"
index ad107189..1051a657 100644
--- "a/\346\234\272\345\231\250\345\255\246\344\271\240-\346\267\261\345\272\246\345\255\246\344\271\240-NLP/NLP-\344\270\223\351\242\230-A-\350\257\215\345\220\221\351\207\217.md"
+++ "b/A-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/B-\344\270\223\351\242\230-\350\257\215\345\220\221\351\207\217.md"
@@ -77,14 +77,14 @@ Index
- 每个训练样本为一个二元组 `(x, y)`，其中 `x`为特征，`y`为标签
假设上下文窗口的大小 `context_window =5`，即
- 
当采样到正例时，跳过
- 特别的，Word2Vec 在计算 `len(w)` 时做了一些改动——为 `count(·)` 加了一个**指数**
- 
@@ -279,7 +279,7 @@ Glove 也利用了**反向传播**来更新词向量，但是结构要更简单
- FastText 是从 Word2Vec 的 CBOW 模型演化而来的；
从网络的角度来看，两者的模型基本一致；**区别仅在于两者的输入和目标函数不同**；
- 
