夏農展開是什麼意思

"夏農展開"（Shannon expansion）是一個數學術語，特別是在機率論和信息理論中，指的是一種用來表示機率分布的方法。這個概念是由信息理論的創始人克勞德·艾爾伍德·夏農（Claude Elwood Shannon）提出的。

在機率論中，一個離散的隨機變量X的可能取值通常用一個集合X來表示，而每個取值xi的機率則用機率質量函數P(xi)來表示。夏農展開是指將機率質量函數表示為一個和式，其中每一項代表一個特定的取值，形式如下：

P(X = x) = Σ P(X = x, Y = y)

其中，X和Y是兩個相互關聯的隨機變量，P(X = x, Y = y)表示X取值為x且Y取值為y的機率。這個和式中的每一項P(X = x, Y = y)可以理解為X取值為x的條件機率，即在Y取值為y的條件下，X取值為x的機率。

夏農展開在信息理論中有著重要的應用，它可以用來計算信息熵，這是衡量一個隨機變量不確定性的一個指標。信息熵的計算公式如下：

H(X) = -Σ P(X = x) log_2 P(X = x)

其中，H(X)是信息熵，P(X = x)是X取值為x的機率。這個公式就是通過夏農展開將機率質量函數表示為一個和式，然後對每一項進行對數運算得到的。

總結來說，"夏農展開"是一個用來表示機率分布的方法，它在信息理論和機率論中有著廣泛的應用。