Transmission of Information(1927)
September 9, 2023Hartleyは、Transmission of Informationで、通信システムの情報伝達性能を評価するために、情報の定量的な尺度を提唱した。 シャノンが1948年に情報エントロピーを発表する21年前である。 Hartleyは、通信内容の意味や解釈を捨象し、記号列の有限な候補からある記号列を選ぶことを情報みなした。 シャノンは、有限の候補から記号列を選択する考えを継承し、さらに、記号が順に確率的に選ばれるとみなすことでHartleyの情報量の定義を情報エントロピーに発展させた。
Hartleyの情報量\(H\)は、選択された記号列の長さ\(n\)に比例する。
$$ H=Kn $$\(K\)は通信システムが扱う記号の総数\(s\)に依存する定数である。
2つの通信システム1, 2があり、記号の総数が\(s_1\), \(s_2\), 長さが\(n_1\)の記号列と\(n_2\)の記号列の候補の数が等しいとき、
$$ s\_1^{n\_1} = s\_2^{n\_2} $$が成りたつ。 このとき、情報量が等しくなるように\(K_1\)と\(K_2\)を定義すると
$$ H=K\_1n\_1=K\_2n\_2 $$から
$$ \frac{K\_1}{\log s\_1}=\frac{K\_2}{\log s\_2} $$となる。 すべての通信システムに共通の定数を\(K_0\)とし、\(K_i=K_0 \log s_i\)となるように\(K_i\)を定義するときのみ、上の等式はすべての\(s\)で成りたつ。
\(K_0\)を省略できるように、対数の基数を設定すれば
$$ H=n\log s $$となる。