香農展開是什麼意思

香農展開（Shannon expansion）是一個在信息理論中用來計算熵的公式，它是由信息理論的創始人克勞德·香農（Claude Shannon）提出的。香農展開公式用來計算一個離散隨機變量X的熵H(X)，其表達式為：

H(X) = ∑_{i=1}^{n} -P(X=x_i) * log_2 P(X=x_i)

其中，n是所有可能取值x_i的總數，P(X=x_i)是隨機變數X取值為x_i的機率，log是以2為底的對數。

香農展開公式是熵的定義的一種展現形式，它表明了熵的大小取決於每個可能取值x_i的機率P(X=x_i)，以及這些機率的對數。當機率較小時，對數值較大，這導致了熵的增加。反之，當機率較大時，對數值較小，這導致了熵的減少。

香農展開公式在信息理論、數據壓縮、編碼理論和計算機科學等領域都有著廣泛的應用。它不僅可以用來計算熵，還可以用來比較不同分布的熵大小，從而幫助設計更高效的信息傳輸和存儲系統。