資訊熵意思

資訊熵（Entropy）是資訊理論中一個重要的概念，由克勞德·香農（Claude Shannon）在1948年提出，用來度量資訊的不確定性。在資訊理論中，資訊熵被用來描述一個信源的平均資訊量，或者說是信源的不確定性。

資訊熵的定義是這樣的：如果一個信源有N種可能狀態，並且這些狀態出現的機率分別為p1, p2, ..., pN，那麼這個信源的資訊熵可以用以下公式來計算：

H = - ∑[p_i * log_2(p_i)]

其中，i取值從1到N，p_i是第i種狀態出現的機率，log_2表示以2為底對數。

資訊熵的單位是位元（bit），它表示為了完全確定一個信源的狀態所需要的平均資訊量。如果一個信源的狀態是隨機的，那麼它的資訊熵就很大；如果一個信源的狀態是確定的，那麼它的資訊熵就是零。

資訊熵的概念不僅在資訊理論中非常重要，在熱力學、統計學、經濟學、生物學等領域也有廣泛的應用。