diff --git "a/loss\347\257\207/\345\210\206\347\261\273loss.md" "b/loss\347\257\207/\345\210\206\347\261\273loss.md" index 142a6d0..e354662 100644 --- "a/loss\347\257\207/\345\210\206\347\261\273loss.md" +++ "b/loss\347\257\207/\345\210\206\347\261\273loss.md" @@ -65,4 +65,60 @@
-
\ No newline at end of file + + +# Bi-Tempered Logistic Loss + +## 概述 + +**Bi-Tempered Logistic Loss可以在一定程度上解决错误样本标记带来的问题,通过改进log函数和exp函数,添加两个tempered变量减轻错误样本的影响。** + +**常见样本标注错误一般分两种情况:** + +- **远离分类边界面的样本标注错误:** + + **这种情况《In *Proceedings of the 25th international conference on Machine learning*》证明了像如下图所示的convex losses,原理分界面的错误样本标注会极大增加loss值,由于softmax loss的无界性,会导致loss值会非常大。** + +
+ +
+ + + + +​ **解决这个问题的方法是使得softmax-loss有界,因此需要改进softmax-loss,改进形式如下:** + +​ +$$ +\large \log _{t}(x):=\frac{1}{1-t}\left(x^{1-t}-1\right) +$$ +​ **当limit t 趋近1 的时候上式子就退化成了普通的log函数,函数图像如下所示:** + +
+ +
+ + +​ **可以看出改进后的函数变得有界,能够缓解极端错误标签对网络的影响** + +​ + +- **靠近分类面的样本标注错误** + + **exp的短尾效应会迫使分类器扩大至噪声样本边界,重尾效应能够显著解决该问题,参考论文《Nan Ding and S. V. N. Vishwanathan. *t*-logistic regression. In *Proceedings of the 23th*** + + ***International Conference on Neural Information Processing Systems*, NIPS’10, pages 514–522,** + + **Cambridge, MA, USA, 2010》** + + **通过改进exp函数可以减轻轻尾效应:** + $$ + \large \exp _{t}(x):=[1+(1-t) x]_{+}^{1 /(1-t)} + $$ + + +
+ +
+ + \ No newline at end of file