タイトル

開講年度 開講学部等
2025 工学部
開講学期 曜日時限 授業形態 AL（アクティブ・ラーニング）ポイント
後期 月3～4 講義 2.5
時間割番号 科目名[英文名] 使用言語 単位数
1062520260 情報理論[Information Theory] 日本語 2
担当教員（責任）[ローマ字表記] メディア授業
藤田 悠介[FUJITA Yusuke] ー
担当教員[ローマ字表記]
藤田 悠介　[FUJITA Yusuke]
特定科目区分   対象学生   対象年次 2～
ディプロマ・ポリシーに関わる項目 カリキュラムマップ(授業科目とDPとの対応関係はこちらから閲覧できます)
授業の目的と概要
情報の表現と伝送に関する基礎理論の一つである「情報理論」の基礎を学ぶ。情報源における情報量，エントロピー，通信路における誤りに伴う通信路容量などの概念を把握し，効率良く伝送するための情報源符号化，信頼性高く伝送するための通信路符号化を中心に，符号化の基礎を理解する。
授業の到達目標
・情報量の概念が説明でき，実際に計算できる。
・情報源のモデル化と情報源符号化について説明でき，具体的な符号化を行うことができる。
・通信路のモデル化と通信路符号化について説明できる。
授業計画
【全体】
講義の前半では情報源の符号化に関する内容を，後半では通信路の符号化に関する内容を講述する。
項目 内容 授業時間外学習 備考
第1回 イントロダクション，確率論の基礎 講義の目標，計画，成績評価法を説明する。集合と確率，条件付き確率，ベイズの定理について復習する。 講義の内容を復習して，次回の予習をする。
第2回 情報量・平均情報量 情報の伝達の概念を理解する。情報量・平均情報量について理解し，実際に計算する。シャノンの補助定理を使ってエントロピーの性質を理解する。 講義の内容を復習（2時間）して，次回の予習（2時間）をする。条件付確率、結合確率について復習し，計算できるようにしておく。
第3回 情報量・平均情報量 複数の事象系における情報量について理解する。相互情報量，条件付エントロピー，結合エントロピーについて理解する。 講義の内容を復習（2時間）して，次回の予習（2時間）をする。
第4回 情報源 無記憶情報源，マルコフ情報源の性質を理解し，エントロピーを計算する。 講義の内容を復習（2時間）して，次回の予習（2時間）をする。
第5回 情報源 無記憶情報源，マルコフ情報源の性質を理解し，エントロピーを計算する。 講義の内容を復習（2時間）して，次回の予習（2時間）をする。
第6回 情報源符号化 情報源符号化定理を理解する。 講義の内容を復習（2時間）して，次回の予習（2時間）をする。
第7回 情報源符号化法 ハフマン符号，ハフマンブロック符号，ランレングスハフマン符号を理解し，実際に符号化する。 講義の内容を復習（2時間）して，次回の予習（2時間）をする。
第8回 中間試験 講義前半の理解度を確認する。 前半の復習（2時間）して，次回の予習（2時間）をする。
第9回 通信路モデルと各種情報量 通信路モデル，相互情報量を理解し，実際に計算する。 講義の内容を復習（2時間）して，次回の予習（2時間）をする。
第10回 通信路容量 通信路容量と通信路符号化定理を理解し，実際に計算する。２元対称通信路における各種情報量と通信路容量について理解する。 講義の内容を復習（2時間）して，次回の予習（2時間）をする。
第11回 通信路符号化 誤り検出と訂正の原理について理解する。ハミング距離，符号空間，ハミング距離と誤り検出・訂正能⼒の関係を理解する。 講義の内容を復習（2時間）して，次回の予習（2時間）をする。
第12回 線形符号 線形符号のしくみと性質を理解する。パリティ検査符号，ハミング符号，巡回符号を使って誤り検出・訂正をする。 講義の内容を復習（2時間）して，次回の予習（2時間）をする。
第13回 線形符号 線形符号のしくみと性質を理解する。パリティ検査符号，ハミング符号，巡回符号を使って誤り検出・訂正をする。 講義の内容を復習（2時間）して，次回の予習（2時間）をする。
第14回 線形符号 線形符号のしくみと性質を理解する。パリティ検査符号，ハミング符号，巡回符号を使って誤り検出・訂正をする。 講義の内容を復習（4時間）して，全体のまとめをする。
第15回 総括 これまでの内容の復習および予備日 講義全体の内容を復習（4時間）して，全体のまとめをする。
第16回 期末試験 講義の内容の理解度を確認する。 講義全体の内容を復習（4時間）して，全体のまとめをする。
※AL（アクティブ・ラーニング）欄に関する注
・授業全体で、AL（アクティブ・ラーニング）が占める時間の割合を、それぞれの項目ごとに示しています。
・A〜Dのアルファベットは、以下の学修形態を指しています。
【A：グループワーク】、【B：ディスカッション・ディベート】、【C：フィールドワーク（実験・実習、演習を含む）】、【D：プレゼンテーション】
A: --%　B: --%　C: 25%　D: --%
成績評価法
中間試験　30％，期末試験　30％，各授業回のレポート・演習　40％　で評価する。
出席は欠格条件とし，４回以上の欠席は欠格とする。
教科書にかかわる情報
備考
講義資料を配布します。
参考書にかかわる情報
参考書 書名 情報理論 ISBN 9784339001020
著者名 宮川洋著 出版社 コロナ社 出版年 1979
参考書 書名 情報理論のエッセンス ISBN 9784274216039
著者名 平田廣則著 出版社 オーム社 出版年 2014
参考書 書名 基礎から学ぶ情報理論 ISBN 9784896412871
著者名 中村篤祥 [ほか] 共著 出版社 ムイスリ出版 出版年 2020
参考書 書名 はじめての情報理論（第2版） ISBN 9784627849129
著者名 稲井寛著 出版社 森北出版 出版年 2020
備考
メッセージ
情報理論を学ぶために必要となる数学的基礎知識は確率（特に条件付確率），平均，対数です。演習を中心にしっかりと身に付けてもらいます。
各回の授業内容はそれまでの授業の積み重ねなので，予習復習をすると共に，解らない個所が発生したら，遠慮なく質問すること。
キーワード
情報量，エントロピー，相互情報量，情報源符号化，通信路符号化
持続可能な開発目標（SDGs）

  • 産業と技術革新の基盤をつくろう
(インフラ、産業化、イノベーション)強靱（レジリエント）なインフラ構築、包摂的かつ持続可能な産業化の促進及びイノベーションの推進を図る。
関連科目
確率統計，情報通信工学
履修条件
連絡先
藤田 悠介（y-fujita@yamaguchi-u.ac.jp）
オフィスアワー
質問や相談は，授業の後に適宜受け付けます。電⼦メールでも受け付けます。

ページの先頭へ