タイトル

開講年度 開講学部等
2025 理学部
開講学期 曜日時限 授業形態 AL（アクティブ・ラーニング）ポイント
後期 月3～4 講義  
時間割番号 科目名[英文名] 使用言語 単位数
1042210048 情報理論[(Information Theory)] 日本語 2
担当教員（責任）[ローマ字表記] メディア授業
野﨑　隆之[NOZAKI Takayuki] ー
担当教員[ローマ字表記]
野﨑　隆之　[NOZAKI Takayuki]
特定科目区分   対象学生 令和5年度以降入学者対象 対象年次 2～4
ディプロマ・ポリシーに関わる項目 カリキュラムマップ(授業科目とDPとの対応関係はこちらから閲覧できます)
授業の目的と概要
情報理論は符号化による通信効率の限界を数学的に明らかにし，その限界を達成する符号化法を構成する学問である．情報理論は数学的におもしろいだけでなく，データ圧縮や誤り制御のように現代の情報通信システムに欠かすことのできない重要な技術を与えている．情報通信システムを数学的に扱う上で確率論は必須の道具であるため，情報理論を学ぶには確率論の修得が前提となる．本講義では，データ圧縮の手法である情報源符号化とその理論限界を与える情報源符号化定理を与えるとともに，誤り訂正の手法である通信路符号化とその理論限界を与える通信路符号化定理を与える．
授業の到達目標
情報理論に関する基本概念の意味を説明でき，計算することができる．情報源符号ならびに通信路符号を具体的に構成でき，それらの理論的限界を説明できる．
授業計画
【全体】
情報量とエントロピーについて講義をした後に，情報源符号化について講義する．さらに，通信路符号化の基礎を説明したのちに，線形符号とその復号法を解説する．各授業回開始前に講義動画を視聴済みであることを前提に講義・演習を進める．
項目 内容 授業時間外学習 備考
第1回 情報理論と通信システム 通信システムのモデル化，情報理論の導入，情報源と通信路のモデル化 講義動画（第1回）を視聴の上，その内容を教科書と照らし合わし理解すること（目安時間：4時間）
第2回 情報量とエントロピー（１：自己情報量とエントロピー） 自己情報量，エントロピー，シャノンの補助定理 ・講義動画（第2回）を視聴の上，その内容を教科書と照らし合わし理解すること（目安時間：3時間）
・演習内容の復習をすること（目安時間：1時間）
第3回 情報量とエントロピー（２：２個の確率変数のエントロピーと相互情報量） 同時エントロピー，条件付きエントロピー，相互情報量 ・講義動画（第3回）を視聴の上，その内容を教科書と照らし合わし理解すること（目安時間：3時間）
・演習内容の復習をすること（目安時間：1時間）
第4回 情報量とエントロピー（３：チェイン則とn個の確率変数のエントロピー） チェイン則，n個の確率変数のエントロピー ・講義動画（第4回）を視聴の上，その内容を教科書と照らし合わし理解すること（目安時間：3時間）
・演習内容の復習をすること（目安時間：1時間）
第5回 情報源符号化（１：情報源モデルと情報源符号化の基礎） 情報源モデル，符号の分類，符号の木，語頭符号 ・講義動画（第5回）を視聴の上，その内容を教科書と照らし合わし理解すること（目安時間：3時間）
・演習内容の復習をすること（目安時間：1時間）
第6回 情報源符号化（２：クラフトの不等式と情報源符号化定理） クラフトの不等式，情報源符号化定理 ・講義動画（第6回）を視聴の上，その内容を教科書と照らし合わし理解すること（目安時間：3時間）
・演習内容の復習をすること（目安時間：1時間）
第7回 情報源符号化（３：ハフマン符号） ハフマン符号の構成 ・講義動画（第7回）を視聴の上，その内容を教科書と照らし合わし理解すること（目安時間：3時間）
・演習内容の復習をすること（目安時間：1時間）
第8回 通信路モデルと通信路容量
 		通信路モデル，通信路容量 ・講義動画（第8回）を視聴の上，その内容を教科書と照らし合わし理解すること（目安時間：3時間）
・演習内容の復習をすること（目安時間：1時間）
第9回 通信路符号化の基礎 通信路符号化の基礎 ・講義動画（第9回）を視聴の上，その内容を教科書と照らし合わし理解すること（目安時間：3時間）
・演習内容の復習をすること（目安時間：1時間）
第10回 線形符号（１：体と線形代数，線形符号の定義）
 		二元体を定義し，二元体上の線形代数を説明する．さらに，線形符号を定義した後に，生成行列による定義の仕方とパリティ検査行列による定義の仕方を与える． ・講義動画（第10回）を視聴の上，その内容を教科書と照らし合わし理解すること（目安時間：3時間）
・演習内容の復習をすること（目安時間：1時間）
第11回 線形符号（２：最小距離と基礎的な線形符号の構成） 最小距離を定義するとともにその性質を明らかにする．さらに，基礎的な線形符号であるハミング符号と拡大ハミング符号の構成法を与える． ・講義動画（第11回）を視聴の上，その内容を教科書と照らし合わし理解すること（目安時間：3時間）
・演習内容の復習をすること（目安時間：1時間）
第12回 線形符号（３：限界式と符号の修正） 誤り訂正符号の符号語数の上界を与えるハミング限界式と線形符号の最小距離の上界を与えるシングルトン限界式について紹介する．さらに符号の短縮とパンクチャについて紹介する． ・講義動画（第12回）を視聴の上，その内容を教科書と照らし合わし理解すること（目安時間：3時間）
・演習内容の復習をすること（目安時間：1時間）
第13回 復号法（１） 復号法の概要を説明した後に，最大事後確率復号法ならびに最尤復号法を与える．
 		・講義動画（第13回）を視聴の上，その内容を教科書と照らし合わし理解すること（目安時間：3時間）
・演習内容の復習をすること（目安時間：1時間）
第14回 復号法（２）・通信路符号化定理 最小距離復号法と限界距離復号法を与える．さらに通信路符号化定理を紹介する． ・講義動画（第14回）を視聴の上，その内容を教科書と照らし合わし理解すること（目安時間：3時間）
・演習内容の復習をすること（目安時間：1時間）
第15回 総括 これまでの授業を総括する ・講義全体をよく復習する（目安時間：4時間）
第16回 期末試験 試験を実施する． 講義全体を振り返り，要点を理解するとともに説明できるようにすること（目安時間：4時間）
※AL（アクティブ・ラーニング）欄に関する注
・授業全体で、AL（アクティブ・ラーニング）が占める時間の割合を、それぞれの項目ごとに示しています。
・A〜Dのアルファベットは、以下の学修形態を指しています。
【A：グループワーク】、【B：ディスカッション・ディベート】、【C：フィールドワーク（実験・実習、演習を含む）】、【D：プレゼンテーション】
A: --%　B: --%　C: --%　D: --%
成績評価法
宿題（授業時間外課題）と学期末の筆記テストで評価します．
宿題 15%，学期末の筆記テスト 85%
教科書にかかわる情報
教科書 書名 情報・符号理論 ISBN 9784274213175
著者名 楫　勇一 出版社 オーム社 出版年 2013
備考
特になし
参考書にかかわる情報
参考書 書名 情報理論　基礎と広がり ISBN 9784320123007
著者名 T.M. Cover, J.A. Thomas 著 山本ら 訳 出版社 共立出版 出版年 2012
参考書 書名 情報理論 ISBN 9784274216015
著者名 今井秀樹 出版社 オーム社 出版年 2014
参考書 書名 通信理論入門 ISBN 9784339024647
著者名 坂庭好一, 笠井健太 出版社 コロナ社 出版年 2014
参考書 書名 イラストで学ぶ情報理論の考え方 ISBN 9784061538177
著者名 植松友彦著 ; 講談社サイエンティフィク編 出版社 講談社 出版年 2012
参考書 書名 誤り訂正技術の基礎 ISBN 9784627817319
著者名 和田山 正 出版社 森北出版 出版年 2010
参考書 書名 代数系と符号理論入門 ISBN 9784339024463
著者名 坂庭 好一, 渋谷 智治 出版社 コロナ社 出版年 2010
参考書 書名 進化する符号理論 ISBN 9784535787971
著者名 萩原 学（編著） 出版社 日本評論社 出版年 2016
備考
その他の参考書については，授業内で紹介する。
メッセージ
線型代数，微分積分学および確率論について理解していることを前提に授業をすすめていきます．これらの理解に不足があると感じる場合は，それぞれの教科書で復習をおくと良いです．
キーワード
情報量，エントロピー，情報源符号化，情報通信，情報理論，通信路符号化，符号理論，誤り訂正符号
持続可能な開発目標（SDGs）

  • 産業と技術革新の基盤をつくろう
(インフラ、産業化、イノベーション)強靱（レジリエント）なインフラ構築、包摂的かつ持続可能な産業化の促進及びイノベーションの推進を図る。
関連科目
確率論，物理と情報のための基礎数学Ⅰ，物理と情報のための基礎数学Ⅱ，物理と情報のための基礎数学Ⅲ，物理と情報のための応用数学Ⅱの習得を前提としている．
情報ネットワークおよび論理学と関連が深い．
履修条件
確率論，物理と情報のための基礎数学Ⅰ，物理と情報のための基礎数学Ⅱ，物理と情報のための基礎数学Ⅲ，物理と情報のための応用数学Ⅱの習得を前提としている．
論理学を同時に履修することを強く勧める．
連絡先
野崎隆之：理学部1号館330号室，tnozaki@yamaguchi-u.ac.jp
オフィスアワー
野崎隆之：平日の昼休み (12:00-13:00) (他の時間帯でも良いですが，不在の場合があるので，事前に連絡してください．)

ページの先頭へ