情報理論を簡単に説明する。（第一章 序論）

この記事は、「今井秀樹(1984) 『情報理論』昭晃堂」の第一章を勉強した内容を記録した自分用のノートです。詳しい内容が気になる方は、元の教科書を買ってみてください！

1. 情報理論とは

1.1 情報の伝達

情報理論とは、情報の伝達をいかに効率よく、そして信頼性高く行うかに関する理論です。情報が伝達されれば、受け手の知識によって構成される世界に変化が起きます。この受け手の世界の変化が情報の伝達の本質的な点であると考えます。 情報理論では、この受け手の世界の変化をある集合に対する確率分布の変化として表せるような場合を考えます。(逆に言えばそのように表せるものに理論の適用範囲を制限しています。)

1.2 通信システムのモデル

通信は、 情報源→符号化→通信路→復号→宛先 という過程を経て行われます。これらの過程について説明します。　 情報源とは、文字通り情報を発信する源です。ここから情報は生まれます。情報源から発せられる対象を通報といいます。英語や数字のように離散的なものをデジタル通報、音やテレビのような連続的な量をアナログ通報といいます。　 情報は通信路を介して、宛先へ送られます。通信路には一般に何らかの雑音やひずみが存在し、情報が誤って伝えられることもあります。一般に通報はそのまま通信路に入力できず、何らかの変化をする必要があり、その変換のことを符号化といいます。そして、通信路の出力を通報に戻す操作のことを復号といいます。

1.3 符号化

符号化には、大きく分けて2種類の方法があります。 一つは、情報源の統計的性質を利用して、通信の効率化を図る方法で、一般に情報源符号化と呼ばれます。（例：英文を0と1の列に変換して送るとき、使用頻度の高い文字に（E,T,A,Oなど）短い符号を割り当て、逆に頻度の低い文字(Z,Q,J,Xなど)に長い符号を割り当てる。） もう一つは、通信路の雑音や誤りに対処して高信頼化を図る方法で、一般に通信路符号化と呼ばれます。（例：010と送りたいときに、000111000と3回繰り返して送る。）

そして、今後は、情報理論とは、この情報源符号化と通信路符号化をいかに行うべきか、またその限界はどこか、ということに関する理論であると定義します。