Inégalité log somme
L'inégalité log somme (ou log sum inequality) est fréquemment utilisée en théorie de l'information.
Énoncé[modifier | modifier le code]
Soient et des réels strictement positifs, avec et , alors :
avec égalité si et seulement si , c'est-à-dire qu'il existe une constante telle que .[1]
(On prendra si et si et . Ces valeurs sont obtenues par prolongement par continuité en .)[1]
Preuve[modifier | modifier le code]
En posant , nous avons
où l'inégalité vient de l'inégalité de Jensen puisque , et est une fonction convexe.[1]
Généralisations[modifier | modifier le code]
Cette inégalité reste valide pour , puisque et .[citation nécessaire] La preuve ci-dessus reste vraie pour toute fonction telle que soit convexe, comme toute fonction croissante continue. La généralisation aux fonctions croissantes autres que le logarithme est donné dans Csiszár, 2004.
Applications[modifier | modifier le code]
L'inégalité log-somme peut être utilisée pour prouver des inégalités en théorie de l'information. L'inégalité de Gibbs affirme que la divergence de Kullback-Leibler est positive, et égale à zéro si ses arguments sont égaux.[2] Une preuve utilise l'inégalité log-somme.
Preuve[1] Soient et des fonctions de masses. Dans l'inégalité log-somme, on change , et pour obtenir avec égalité si et seulement si (puisque les sommes des et valent 1).
Cette inégalité peut aussi prouver la convexité de la divergence de Kullback-Leibler. [3]
Notes et références[modifier | modifier le code]
- (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Log sum inequality » (voir la liste des auteurs).
- Cover et Thomas (1991), p. 29.
- MacKay (2003), p. 34.
- Cover et Thomas (1991), p. 30.
Bibliographie[modifier | modifier le code]
- Thomas M. Cover et Joy A. Thomas, Elements of Information Theory, Hoboken (New Jersey), Wiley, (ISBN 978-0-471-24195-9)
- I. Csiszár et P. Shields, « Information Theory and Statistics: A Tutorial », Foundations and Trends in Communications and Information Theory, vol. 1, no 4, , p. 417–528 (DOI 10.1561/0100000004, lire en ligne, consulté le )
- T.S. Han, K. Kobayashi, Mathematics of information and coding. American Mathematical Society, 2001. (ISBN 0-8218-0534-7).
- Information Theory course materials, Utah State University [1]. Retrieved on 2009-06-14.
- David J.C. MacKay, Information Theory, Inference, and Learning Algorithms, Cambridge University Press, (ISBN 0-521-64298-1, lire en ligne)