| 授業科目名（和文） ［Course］ |
情報理論 |
| 授業科目名（英文） ［Course］ |
Information Theory |
| 学部（研究科） ［Faculty］ |
情報工学部 |
| 学科（専攻） ［Department］ |
情報通信工学科 |
| 担当教員（○：代表教員） [Principle Instructor(○) and Instructors] |
○稲井 寛 自室番号（2516）、電子メール（inai**c.oka-pu.ac.jp） ※利用の際は,** を @に置き換えてください |
| 単位数 ［Point(Credit)］ |
前期 2単位 |
| 対象学生 ［Eligible students］ |
2年次生 |
| 授業概略と目標 ［Course description and Objects］ |
情報理論は，情報の表現や伝送に関する基礎理論であり，確率論を基盤としている．本講義では，情報をある確率で発生する事象として捉え，その情報の量を定義する．そして，0と1の系列である符号を用いて情報を表現する． 講義の前半では，ある情報をその意味を変えることなく可能な限り短い符号系列で表現する手法（圧縮の原理）について考察する．これに対して，後半では，冗長な符号系列を付加することにより，伝送中に発生するビット誤りの検出?訂正が可能となることを示す． |
| 到達目標 ［Learning Goal］ |
1 情報量を理解し，エントロピーを計算することができる． 2 情報源符号化定理を説明することができる． 3 コンパクト符号を構成し，平均符号長を計算することができる． 4 通信路のモデルを理解し，相互情報量，通信路容量を計算することができる． 5 誤り訂正の原理を理解し，平均誤り率，ハミング距離を計算することができる． 6 通信路符号化定理を説明することができる． |
| 履修上の注意 ［Notes］ |
確率論の基礎的な知識が必要となるので，「確率統計」を修得していることが望ましい． |
| 授業計画とスケジュール ［Course schedule］ |
1. 概要説明 情報理論の概要，講義目標，注意事項について説明する． 2. 情報量(1) 情報量，エントロピーについて説明する． 3. 情報量(2) エントロピーの性質，結合エントロピー，条件付エントロピーについて説明する． 4. 情報源(1) 情報源のモデル，無記憶情報源について説明する． 5. 情報源(2) マルコフ情報源について説明する． 6. 情報源符号化(1) 符号の分類，瞬時に復号可能な符号であるための条件について説明する． 7. 情報源符号化(2) クラフトの不等式，平均符号長，符号の効率と冗長度について説明する． 8. 情報源符号化(3) コンパクト符号，情報源符号化定理について説明する． 9. 情報源符号化(4) モールス符号，シャノン符号，ファノ符号，ハフマン符号について説明する． 10. 通信路(1) 事前エントロピー，事後エントロピー，相互情報量について説明する． 11. 通信路(2) 雑音のない通信路，確定的通信路，一様通信路について説明する． 12. 通信路(3) 通信路容量について説明する． 13. 通信路符号化(1) 受信シンボルの判定，通信路符号化について説明する． 14. 通信路符号化(2) ハミング距離，誤り検出?訂正の原理について説明する． 15. 通信路符号化(3) 通信路符号化定理について説明する． |
| 成績評価方法と基準 ［Grading policy (Evaluation)］ |
試験およびレポートにより総合的に評価する． |
| 教科書 ［Textbook］ |
教科書： 稲井 寛，はじめての情報理論，森北出版，2011 |
| 自主学習ガイド及び キーワード ［Self learning］ |
他科目との関連を常に意識することを心掛けると理解の助けとなると共に視野が拡がる．例えば，アナログ情報のディジタル化やデジタル情報伝送の具体的な方法については「通信方式」や「信号処理」で学ぶ．また，ビット誤りの検出?訂正の具体的な方法については「符号理論」で学ぶ． キーワード：情報量，エントロピー，符号，情報源，通信路，誤り検出，誤り訂正 |
| 開講年度 ［Year of the course］ |
28 |