f散度，Jensen不等式，fenchel共轭

Jensen不等式

概率论形式：
原理很简单，对一个凸函数任意两点作割线，一定在凸函数上方

f散度与fenchel共轭

关于f散度，看到一篇写的挺好的博文 地址
几个细节：

• f(1)要等于0，这样才能满足f散度大于等于0
• 根据f函数的不同能推出不同的散度，比如KL散度，chi-square（卡方）散度
• 因为共轭函数是取得上界，所以存在一个共轭不等式