熵在信息損失方面的表征

A CHARACTERIZATION OF ENTROPY IN TERMS OF INFORMATION LOSS

熵在信息損失方面的表征

https://arxiv.org/pdf/1106.1791

摘要

香農熵和Tsallis熵作為滿足特定性質的信息度量，已有多種刻畫方式。基于法捷耶夫和古市的研究工作，我們推導出一種極其簡潔的刻畫方法。該方法并非聚焦于有限集合上概率測度的熵，而是關注與保測函數相關聯的"信息損失"（即熵的變化）。信息損失是條件熵的一種特殊情形：即某個隨機變量在給定該變量的函數條件下的熵。我們證明，香農熵是唯一滿足函子性、凸線性與連續性的信息損失概念。該刻畫方式亦可自然地推廣至Tsallis熵。

1. 引言
   有限集合X上概率測度p的香農熵[9]由下式給出：

   
   

有許多定理試圖從看似合理的假設出發來刻畫香農熵；可參見例如Aczél和Daróczy的著作[1]。本文中，我們給出一個新的、非常簡潔的刻畫定理。其主要新穎之處在于，我們不直接關注單個概率測度的熵，而是關注與保測函數相關聯的熵的變化。單個概率測度的熵可以通過指向單點空間的唯一保測函數的熵變化來還原。

一個保測函數可以將多個點映射到同一個點，但反之則不然，因此這種熵的變化始終是減少的。由于熱力學第二定律討論的是熵的增加，這看起來可能違反直覺。但如果我們把這個函數看作是某種不引入任何額外隨機性的數據處理，那么這種直覺可能會減弱。此時，熵只會減少，我們可以討論與該函數相關的“信息損失”。

1. 主要結果

這與我們之前對凸線性組合的表示法是一致的。我們希望給出一些條件，以確保一個將 FinMeas 中的態射映射到非負實數的映射來源于香農熵的某個倍數。為此，我們需要定義配備了測度 p p（不一定是概率測度）的有限集合 X X的香農熵。將 ( X , p )
的總質量定義為：

1. 為什么香農熵有效

于是可以證明，方程(5)對 FinMeas 中的每一個態射 f 都成立。可加性公理和齊次性公理也由此容易推出。

1. 法捷耶夫定理

這可以很容易地使用香農熵的定義和對數的基本性質來驗證。而且，法捷耶夫定理中的條件(iii)等價于強可加性加上條件 I ( ( 1 ) ) = 0
，這使得我們可以將法捷耶夫定理重新表述如下：

1. 主要結果的證明
   現在我們來完成定理2的證明。假設 F F滿足該定理陳述中的條件(i)–(iii)。
   回顧一下，(1) 表示集合 {1} 及其上唯一的概率測度。
   對于 FinProb 中的每一個對象 p p，存在唯一的態射

1. Tsallis熵的刻畫

自香農于1948年定義了他的熵以來，該概念已以多種方式被推廣。我們的定理2可以很容易地擴展，以刻畫其中一個推廣族，即所謂的“Tsallis熵”。對于任意正實數 α，有限集合 X 上概率測度 p 的 α 階 Tsallis 熵定義為：

與香農熵的情況一樣，這個結果可以擴展到有限集合上的任意測度。為此，我們需要定義有限集合上任意測度的 Tsallis 熵。我們通過要求以下條件來實現：

原文鏈接： https://arxiv.org/pdf/1106.1791