Skip to content

Commit

Permalink
结构调整
Browse files Browse the repository at this point in the history
  • Loading branch information
imhuay committed Sep 13, 2018
1 parent 0c8ef2b commit 2d8912e
Show file tree
Hide file tree
Showing 849 changed files with 949 additions and 738 deletions.
Original file line number Diff line number Diff line change
Expand Up @@ -23,11 +23,11 @@ Index
- 模型的**偏差**,指的是模型预测的**期望值****真实值**之间的差;
- 模型的**方差**,指的是模型预测的**期望值****预测值**之间的差平方和;
-**监督学习**中,模型的**泛化误差****分解**为偏差、方差与噪声之和。
<div align="center"><img src="../assets/TIM截图20180817204652.png" height="" /></div>
<div align="center"><img src="../_assets/TIM截图20180817204652.png" height="" /></div>

- **偏差**用于描述模型的**拟合能力**;<br/>
**方差**用于描述模型的**稳定性**
<div align="center"><img src="../assets/TIM截图20180817192259.png" height="" /></div>
<div align="center"><img src="../_assets/TIM截图20180817192259.png" height="" /></div>

### 导致偏差和方差的原因
- **偏差**通常是由于我们对学习算法做了**错误的假设**,或者模型的复杂度不够;
Expand All @@ -48,21 +48,21 @@ Index
### 偏差与方差的计算公式
- 记在**训练集 D** 上学得的模型为
<div align="center"><a href="http://www.codecogs.com/eqnedit.php?latex=f(\boldsymbol{x};D)"><img src="../assets/公式_20180817211749.png" height="" /></a></div>
<div align="center"><a href="http://www.codecogs.com/eqnedit.php?latex=f(\boldsymbol{x};D)"><img src="../_assets/公式_20180817211749.png" height="" /></a></div>

模型的**期望预测**
<div align="center"><a href="http://www.codecogs.com/eqnedit.php?latex=\large&space;\hat{f}(\boldsymbol{x})=\mathbb{E}_D[f(\boldsymbol{x};D)]"><img src="../assets/公式_20180817210758.png" height="" /></a></div>
<div align="center"><a href="http://www.codecogs.com/eqnedit.php?latex=\large&space;\hat{f}(\boldsymbol{x})=\mathbb{E}_D[f(\boldsymbol{x};D)]"><img src="../_assets/公式_20180817210758.png" height="" /></a></div>

- **偏差**(Bias)
<div align="center"><a href="http://www.codecogs.com/eqnedit.php?latex=\large&space;bias^2(\boldsymbol{x})=(\hat{f}(\boldsymbol{x})-y)^2"><img src="../assets/公式_20180817210106.png" height="" /></a></div>
<div align="center"><a href="http://www.codecogs.com/eqnedit.php?latex=\large&space;bias^2(\boldsymbol{x})=(\hat{f}(\boldsymbol{x})-y)^2"><img src="../_assets/公式_20180817210106.png" height="" /></a></div>

> **偏差**度量了学习算法的期望预测与真实结果的偏离程度,即刻画了学习算法本身的拟合能力;
- **方差**(Variance)
<div align="center"><a href="http://www.codecogs.com/eqnedit.php?latex=\large&space;var(\boldsymbol{x})=\mathbb{E}_D\left&space;[&space;\left&space;(&space;f(\boldsymbol{x};D)-\hat{f}(\boldsymbol{x})&space;\right&space;)^2&space;\right&space;]"><img src="../assets/公式_20180817211903.png" height="" /></a></div>
<div align="center"><a href="http://www.codecogs.com/eqnedit.php?latex=\large&space;var(\boldsymbol{x})=\mathbb{E}_D\left&space;[&space;\left&space;(&space;f(\boldsymbol{x};D)-\hat{f}(\boldsymbol{x})&space;\right&space;)^2&space;\right&space;]"><img src="../_assets/公式_20180817211903.png" height="" /></a></div>

> **方差**度量了同样大小的**训练集的变动**所导致的学习性能的变化,即刻画了数据扰动所造成的影响(模型的稳定性);
<!-- - **噪声**
<div align="center"><a href="http://www.codecogs.com/eqnedit.php?latex=\large&space;var(\boldsymbol{x})=\mathbb{E}_D\left&space;[&space;\left&space;(&space;f(\boldsymbol{x};D)-\hat{f}(\boldsymbol{x})&space;\right&space;)^2&space;\right&space;]"><img src="../assets/公式_20180817212111.png" height="" /></a></div> -->
<div align="center"><a href="http://www.codecogs.com/eqnedit.php?latex=\large&space;var(\boldsymbol{x})=\mathbb{E}_D\left&space;[&space;\left&space;(&space;f(\boldsymbol{x};D)-\hat{f}(\boldsymbol{x})&space;\right&space;)^2&space;\right&space;]"><img src="../_assets/公式_20180817212111.png" height="" /></a></div> -->

- **噪声**则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界,即刻画了学习问题本身的难度。

Expand All @@ -76,7 +76,7 @@ Index
- 当训练充足后,模型的**拟合能力过强**(数据的轻微扰动都会导致模型产生显著的变化),此时即发生**过拟合**(训练数据自身的、非全局的特征也被模型学习了)

- 偏差和方差的关系和**模型容量**(模型复杂度)、**欠拟合****过拟合**的概念紧密相联
<div align="center"><img src="../assets/TIM截图20180817214034.png" height="" /></div>
<div align="center"><img src="../_assets/TIM截图20180817214034.png" height="" /></div>

- 当模型的容量增大(x 轴)时, 偏差(用点表示)随之减小,而方差(虚线)随之增大
- 沿着 x 轴存在**最佳容量****小于最佳容量会呈现欠拟合****大于最佳容量会导致过拟合**
Expand All @@ -91,15 +91,15 @@ Index
> 《统计学习方法》 1.7 生成模型与判别模型
- 监督学习的任务是学习一个模型,对给定的输入预测相应的输出
- 这个模型的一般形式为一个**决策函数**或一个**条件概率分布**(后验概率):
<div align="center"><a href="http://www.codecogs.com/eqnedit.php?latex=\fn_phv&space;\large&space;Y=f(X)\quad&space;\text{or}\quad&space;P(Y|X)"><img src="../assets/公式_20180817220004.png" height="" /></a></div>
<div align="center"><a href="http://www.codecogs.com/eqnedit.php?latex=\fn_phv&space;\large&space;Y=f(X)\quad&space;\text{or}\quad&space;P(Y|X)"><img src="../_assets/公式_20180817220004.png" height="" /></a></div>

- **决策函数**:输入 X 返回 Y;其中 Y 与一个**阈值**比较,然后根据比较结果判定 X 的类别
- **条件概率分布**:输入 X 返回 **X 属于每个类别的概率**;将其中概率最大的作为 X 所属的类别
- 监督学习模型可分为**生成模型****判别模型**
- **判别模型**直接学习决策函数或者条件概率分布
- 直观来说,**判别模型**学习的是类别之间的最优分隔面,反映的是不同类数据之间的差异
- **生成模型**学习的是联合概率分布`P(X,Y)`,然后根据条件概率公式计算 `P(Y|X)`
<div align="center"><a href="http://www.codecogs.com/eqnedit.php?latex=\fn_phv&space;\large&space;P(Y|X)=\frac{P(X,Y)}{P(X)}"><img src="../assets/公式_20180817223923.png" height="" /></a></div>
<div align="center"><a href="http://www.codecogs.com/eqnedit.php?latex=\fn_phv&space;\large&space;P(Y|X)=\frac{P(X,Y)}{P(X)}"><img src="../_assets/公式_20180817223923.png" height="" /></a></div>

**两者之间的联系**
- 由生成模型可以得到判别模型,但由判别模型得不到生成模型。
Expand Down Expand Up @@ -149,4 +149,4 @@ Index
- 基于先验概率求得的**反向条件概率**,形式上与条件概率相同(若 `P(X|Y)` 为正向,则 `P(Y|X)` 为反向)

**贝叶斯公式**
<div align="center"><a href="http://www.codecogs.com/eqnedit.php?latex=\fn_phv&space;\large&space;P(Y|X)=\frac{P(X|Y)*P(Y)}{P(X)}"><img src="../assets/公式_20180817230314.png" height="" /></a></div>
<div align="center"><a href="http://www.codecogs.com/eqnedit.php?latex=\fn_phv&space;\large&space;P(Y|X)=\frac{P(X|Y)*P(Y)}{P(X)}"><img src="../_assets/公式_20180817230314.png" height="" /></a></div>
Original file line number Diff line number Diff line change
Expand Up @@ -74,9 +74,9 @@ Index

- 答:

硬币:[![](../assets/公式_20180620160408.png)](http://www.codecogs.com/eqnedit.php?latex=-\sum^{n}_{i=1}P(X_i)\log&space;P(X_i)&space;=&space;-2*\frac{1}{2}*\log&space;P(\frac{1}{2})\approx&space;1&space;\text{bit})
硬币:[![](../_assets/公式_20180620160408.png)](http://www.codecogs.com/eqnedit.php?latex=-\sum^{n}_{i=1}P(X_i)\log&space;P(X_i)&space;=&space;-2*\frac{1}{2}*\log&space;P(\frac{1}{2})\approx&space;1&space;\text{bit})

六面体:[![](../assets/公式_20180620160538.png)](http://www.codecogs.com/eqnedit.php?latex=-\sum^{n}_{i=1}P(X_i)\log&space;P(X_i)&space;=&space;-6*\frac{1}{6}*\log&space;P(\frac{1}{6})\approx&space;2.6&space;\text{bit})
六面体:[![](../_assets/公式_20180620160538.png)](http://www.codecogs.com/eqnedit.php?latex=-\sum^{n}_{i=1}P(X_i)\log&space;P(X_i)&space;=&space;-6*\frac{1}{6}*\log&space;P(\frac{1}{6})\approx&space;2.6&space;\text{bit})


## 混淆矩阵、模型度量指标:准确率、精确率、召回率、F1 值等
Expand All @@ -88,26 +88,26 @@ Index
- False Positive(FP):将负类预测为正类数 → 误报 (Type I error).
- False Negative(FN):将正类预测为负类数 → 漏报 (Type II error).

![](../assets/confusion_matrix.png)
![](../_assets/confusion_matrix.png)

**准确率**(accuracy)

![](../assets/TIM截图20180620171915.png)
![](../_assets/TIM截图20180620171915.png)

**精确率**(precision)

![](../assets/TIM截图20180620171300.png)
![](../_assets/TIM截图20180620171300.png)

> 准确率与精确率的区别:
>> 在正负样本不平衡的情况下,**准确率**这个评价指标有很大的缺陷。比如在互联网广告里面,点击的数量是很少的,一般只有千分之几,如果用acc,即使全部预测成负类(不点击)acc 也有 99% 以上,没有意义。
**召回率**(recall, sensitivity, true positive rate)

![](../assets/TIM截图20180620190555.png)
![](../_assets/TIM截图20180620190555.png)

**F1值**——精确率和召回率的调和均值

![](../assets/TIM截图20180620191137.png)
![](../_assets/TIM截图20180620191137.png)

> 只有当精确率和召回率都很高时,F1值才会高
Expand Down Expand Up @@ -212,7 +212,7 @@ Index
**特征处理**
![](../assets/数据清洗与特征处理.jpg)
![](../_assets/数据清洗与特征处理.jpg)
> [机器学习中的数据清洗与特征处理综述](https://tech.meituan.com/machinelearning-data-feature-process.html) - 美团点评技术
Expand All @@ -222,21 +222,21 @@ Index
---
X → Y 的支持度表示项集 {X,Y} 在总项集中出现的概率
[![](../assets/公式_20180620204006.png)](http://www.codecogs.com/eqnedit.php?latex=Support(X\rightarrow&space;Y)=\frac{P(X\cup&space;Y)}{P(I)}=\frac{\text{num}(X\cup&space;Y)}{\text{num}(I)})
[![](../_assets/公式_20180620204006.png)](http://www.codecogs.com/eqnedit.php?latex=Support(X\rightarrow&space;Y)=\frac{P(X\cup&space;Y)}{P(I)}=\frac{\text{num}(X\cup&space;Y)}{\text{num}(I)})
其中,I 表示总事务集,`num()`表示事务集中特定项集出现的次数,`P(X)=num(X)/num(I)`
**置信度**(Confidence)
---
X → Y 的置信度表示在先决条件 X 发生的情况下,由规则 X → Y 推出 Y 的概率。
[![](../assets/公式_20180620205055.png)](http://www.codecogs.com/eqnedit.php?latex=Confidence(X\rightarrow&space;Y)=P(Y|X)=\frac{P(X\cup&space;Y)}{P(X)}=\frac{\text{num}(X\cup&space;Y)}{\text{num}(X)})
[![](../_assets/公式_20180620205055.png)](http://www.codecogs.com/eqnedit.php?latex=Confidence(X\rightarrow&space;Y)=P(Y|X)=\frac{P(X\cup&space;Y)}{P(X)}=\frac{\text{num}(X\cup&space;Y)}{\text{num}(X)})
**提升度**(Lift)
---
X → Y 的提升度表示含有X的条件下,同时含有Y的概率,与Y总体发生的概率之比。
[![](../assets/公式_20180620213601.png)](http://www.codecogs.com/eqnedit.php?latex={\displaystyle&space;{\begin{aligned}&space;Lift(X\rightarrow&space;Y)&=\frac{P(Y|X)}{P(Y)}=\frac{Confidence(X\rightarrow&space;Y)}{\text{num}(Y)/\text{num}(I)}\\&space;&=\frac{P(X\cup&space;Y)}{P(X)P(Y)}=\frac{\text{num}(X\cup&space;Y)\text{num}(I)}{\text{num}(X)\text{num}(Y)}&space;\end{aligned}}})
[![](../_assets/公式_20180620213601.png)](http://www.codecogs.com/eqnedit.php?latex={\displaystyle&space;{\begin{aligned}&space;Lift(X\rightarrow&space;Y)&=\frac{P(Y|X)}{P(Y)}=\frac{Confidence(X\rightarrow&space;Y)}{\text{num}(Y)/\text{num}(I)}\\&space;&=\frac{P(X\cup&space;Y)}{P(X)P(Y)}=\frac{\text{num}(X\cup&space;Y)\text{num}(I)}{\text{num}(X)\text{num}(Y)}&space;\end{aligned}}})
规则的有效性:
---
Expand Down
Loading

0 comments on commit 2d8912e

Please sign in to comment.