シラバス

GC23201

情報理論 Information Theory

標準履修年次: 2年専門基礎・選択 ・2 単位
秋学期AB  金曜日  3・4時限  7A106・7C202
担当教員: 工藤 博幸

概要

情報理論とは情報伝送(通信)の数学的理論である.特に,1948年にシャノンが発表した確率論を基礎とした情報理論は,情報伝送のみならず様々な分野で利用されている.シャノンの情報理論について演習・実習を交えて解説する.

学習・教育目標

1.情報を定量化する方法について理解できる.
2.情報を圧縮することを目的とした符号化法について理解できる.
3.通信の信頼性を向上させることを目的とした符号化法について理解できる.
4.上記の1.〜3.に関する演習問題が解ける.

授業計画

講義内容
第 1〜2 週 『情報とその表現』
情報理論とは,情報とは何か,情報の種類,情報源の統計モデル,情報伝送系のモデル,問題演習
第 3〜4 週 『情報量』
情報量,エントロピー,相互情報量,平均相互情報量,標本化と量子化,問題演習
第 5〜6 週 『情報圧縮のための符号化(情報源符号化)』
マルコフ情報源,マルコフ情報源のエントロピー,情報源の符号化,符号化の基本定理,ハフマンの符号化法,問題演習
第 7〜8 週 『信頼性向上のための符号化(通信路符号化)』
通信路と通信路行列,伝送情報量とあいまい度,離散的通信路の通信路容量,通信路の符号化及び復号化,通信路符号化の基本定理,パリティ検査符号,問題演習
第 9〜10 週 『演習・実習』
問題演習,二値画像のエントロピーを計算するプログラム作成

教材・参考書等

教科書:「情報論I」(瀧保夫著,岩波書店)
その他:授業に使用するスライドのコピーと演習問題プリントを配布
参考書:
「情報理論」(三木成彦・吉川英機,コロナ社)
「図解情報理論入門」(野村由司彦,コロナ社)
「情報理論」(宮川洋,コロナ社)
「情報理論」(今井秀樹,昭晃堂)
(講義の内容をカバーする参考書は他にも多数出版されているので,購入する場合は自分でながめて見て読みやすいと思ったものを購入すること)

成績評価

期末試験点数(70%)に出席・演習による平常点(30%)を加味して成績評価を行う.

授業外の学習内容・方法

毎回の講義内容の予習と復習を必ず行う.毎回の講義内容に関連した教科書とプリントの演習問題を解く.

予備知識・前提条件

『確率と統計』を履修していることを前提とする.

教員連絡先・オフィスアワー

電子メールアドレス: kudo@cs.tsukuba.ac.jp
オフィスアワーは特に指定しないが,質問があればいつでも第3エリア総B棟902(または総B棟901)で受けつける.