「通信の数学的理論」── 情報に単位が与えられた

1948年7月、 Bell System Technical Journal 第27巻第3号の379頁から、 Bell 電話研究所の Claude Shannon による45頁の論文が始まる。 表題は「A Mathematical Theory of Communication」。 423頁の末尾には「(To be continued)」とだけ書かれ、 続きは同じ巻の第4号（10月、 623-656頁）に載った。

論文は一本だが、 印刷物としては二回に分かれている。 7月号が序論・第I部（離散無雑音系）・第II部（雑音のある離散通信路）、 10月号が第III部（数学的準備）・第IV部（連続通信路）・第V部（連続情報源の速度）である。 離散の理論を先に世に出し、 連続の理論を三ヶ月遅れで足した。

意味を切り捨てるところから始める

冒頭近くの一文が、 この論文の性格を決めている ── 通信の根本問題とは、 ある地点で選ばれたメッセージを、 別の地点で正確にまたは近似的に再現することである。

続けて Shannon はこう書く。 メッセージはしばしば意味を持ち、 何らかの体系に従って物理的ないし概念的な実体に対応している。 しかし通信の意味論的側面は、 工学の問題には関係しない。 重要なのは、 実際のメッセージが可能なメッセージの集合から選ばれた一つであるということだけである。 設計時には、 どれが選ばれるかは分からない。 だから系はどの選択に対しても動くよう設計されなければならない。

「意味を扱わない」という宣言は諦めではなく、 定量化のための前提だった。 意味を外せば残るのは選択であり、 選択なら数えられる。

ビットという語

情報の量を測るには対数を取るのがよい、 という主張は Hartley にすでにあった。 Shannon はそれを引き継いだうえで、 底の選び方が単位の選び方に対応すると述べる。 そして次の一文を置いた ── 底に2を用いるならば、 得られる単位は binary digits、 より短く bits と呼んでよい。 この語は J. W. Tukey の提案による。

Shannon はここで語の考案者を自分に帰していない。 統計学者 John Tukey がこの短縮形を出した、 とはっきり書いている。 続く例も具体的である ── 継電器やフリップフロップのような二つの安定状態を持つ装置は、 1ビットの情報を蓄えられる。 そのような装置が N 個あれば、 状態の総数は 2^N なので N ビットを蓄えられる。 底を10にすれば単位は decimal digits となり、 1桁はおよそ3.32ビットに相当する。

計算機の記憶容量も、 通信路の帯域も、 圧縮率も、 以後すべてこの単位で語られることになる。

エントロピー・情報源符号化・通信路容量

論文が導入した道具立ては、 現在の教科書とほぼそのままの形で並んでいる。

エントロピー。 各記号の出現確率 p を持つ情報源に対し、 H = −Σ p log p をその情報源の情報量とする。 これは英語のような統計的偏りを持つ情報源が、 記号数から素朴に見積もるよりずっと少ない情報しか運んでいないことを意味する。 冗長性は測れる量になった。

情報源符号化。 偏りのある情報源は、 平均して H に近い長さまで圧縮できるが、 それ未満には落とせない。 今日のあらゆる可逆圧縮の理論上の床である。

通信路容量と雑音。 第II部の定理11が中心にある。 容量 C の離散通信路と、 毎秒のエントロピーが H の情報源があるとき、 H ≤ C ならば、 誤りの頻度を任意に小さくできる符号化系が存在する。 H > C ならば、 曖昧度（equivocation）を H − C に任意に近いところまで下げる符号化は可能だが、 H − C より小さくすることはどんな符号化でもできない。

これは当時の直観に反する主張だった。 雑音があるなら誤りは避けられず、 精度を上げるには速度を落とすしかない ── そう考えられていた。 Shannon が示したのは、 容量を超えない限り、 速度を落とさずに誤り率だけをいくらでも小さくできるということである。 しかもその証明は、 具体的な符号を作ってみせるのではなく、 ある符号の集合の中に条件を満たすものが存在するはずだ、 という形を取っている。 何が可能かを、 作り方を示さずに証明したのである。 その後半世紀の符号理論は、 この存在証明が約束した性能に実際の符号を近づける作業だった。

第IV部は連続系へ移り、 帯域 W、 平均送信電力 P、 白色熱雑音の電力 N の通信路について、 容量が C = W log((P+N)/N) で与えられることを導く（定理17）。 通信工学で今なお使われる式である。

位置づけ

Shannon はこの理論を無から作ったのではない。 論文自身が冒頭で、 理論の基礎は Nyquist と Hartley の重要な論文にあると認めている。 そのうえで、 通信路の雑音の効果、 メッセージの統計的構造から得られる節約、 受け手の性質に由来する節約という新しい要素を加える、 と書く。

Shannon の生涯と他の業績については 人物ページを参照。 この論文に限って言えば、 影響の形は単純である ── 情報を測る単位と、 測った量に対する上限の定理群が、 1948年に一挙に揃った。 通信・記憶・圧縮・暗号のいずれについても、 「これ以上は原理的に不可能」という線を引けるようになったのは、 この二回の掲載からである。