開講年度
開講学部等
2026
大学院創成科学研究科(博士前期)
開講学期
曜日時限
授業形態
AL(アクティブ・ラーニング)ポイント
後期前半
木1~2
7.0
時間割番号
科目名[英文名]
使用言語
単位数
3262420800
マルチモーダルコミュニケーション特論
日本語
1
担当教員(責任)[ローマ字表記]
メディア授業
安田 哲也[YASUDA Tetsuya]
ー
担当教員[ローマ字表記]
安田 哲也 [YASUDA Tetsuya]
特定科目区分
対象学生
対象年次
ディプロマ・ポリシーに関わる項目
カリキュラムマップ(授業科目とDPとの対応関係はこちらから閲覧できます)
メディア授業
×
メディア授業とは,メディアを利用して遠隔方式により実施する授業の授業時数が,総授業時数の半数を超える授業をいいます。
メディア授業により取得した単位は,卒業要件として修得すべき単位のうち60単位を超えないものとされています。
授業の目的と概要
人は言語情報のみならず、視線、身振り、身体動作、空間配置、音声的特徴などの非言語情報を統合的に用いて、他者と高度なコミュニケーションを行っている。特に人間のコミュニケーションは、他の生物とは本質的に異なる能力体系として進化してきた。
本講義では、人間から表出されるマルチモーダル情報に着目し、言語・非言語コミュニケーションの理論的枠組みおよび実証的研究の知見を基盤として、マルチモーダルコミュニケーションの構造と機能について考察する。また、単なる現象理解にとどまらず、ヒューマン・エージェント・インタラクションやXR等の工学的応用領域への理論的示唆を得ることを目的とする。
授業の到達目標
マルチモーダルコミュニケーションについての理解を深め,それらに関する主要な概念および理論を理解するとともに,関連する研究の基本的手法を身につける.
授業計画
【全体】
マルチモーダルコミュニケーションの理論的枠組みと実証研究を体系的に解説する。特に、言語情報と非言語情報の相互作用構造に焦点を当て、それらの統合過程としてのコミュニケーションを扱う。
院生発表では、指定論文または受講者自身の関心に基づいて選定した関連論文を対象とし、研究背景、理論的位置づけ、知見の意義について批判的検討を行う。
授業は講義形式を主とするが、ディスカッションおよび発表を含むAL型授業として実施する予定である。
項目
内容
授業時間外学習
備考
第1回
マルチモーダルコミュニケーションとは
講義の概観を説明する。人間と他種のコミュニケーション、言語と信号との違いについても触れる。
授業内で指示した内容について、予習・復習を行うこと(学修時間の目安は4時間とする)。
第2回
バイモーダル/マルチモーダルの理論的区別
(一般的な)コミュニケーションについて触れる。
授業内で指示した内容について、予習・復習を行うこと(学修時間の目安は4時間とする)。
第3回
マルチモーダルコミュニケーションの特性
言語と非言語情報の統合がどのようにコミュニケーションに寄与しているかについて触れる。
授業内で指示した内容について、予習・復習を行うこと(学修時間の目安は4時間とする)。
第4回
マルチモーダルデータの記録と分析方法
マルチモーダルデータはどのように記録すべきか、観察法も踏まえ解説する。また分析方法についても触れる。
授業内で指示した内容について、予習・復習を行うこと(学修時間の目安は4時間とする)。
第5回
ジェスチャー・アノテーションの方法
ジェスチャーのアノテーションについて触れる。また、コーディング・スキーム、一致率についても触れる。
授業内で指示した内容について、予習・復習を行うこと(学修時間の目安は4時間とする)。
第6回
院生発表
今まで学習した内容等から、興味を持った知見や現象について、短い発表を行う。また、それらの発表に関して議論も行う。
授業内で指示した内容について、予習・復習を行うこと(学修時間の目安は4時間とする)。
第7回
ヒューマン–エージェント(ロボットを含む)間におけるマルチモーダル特徴
HAIやHRIにおけるマルチモーダルコミュニケーションに関する研究について触れる。
授業内で指示した内容について、予習・復習を行うこと(学修時間の目安は4時間とする)。
第8回
XRにおけるマルチモーダル情報を考える
インタラクション・非インタラクション時におけるマルチモーダル情報の解釈について触れる。背後にある要因を議論する。
授業内で指示した内容について、予習・復習を行うこと(学修時間の目安は4時間とする)。
※AL(アクティブ・ラーニング)欄に関する注
・授業全体で、AL(アクティブ・ラーニング)が占める時間の割合を、それぞれの項目ごとに示しています。
・A〜Dのアルファベットは、以下の学修形態を指しています。
【A:グループワーク】、【B:ディスカッション・ディベート】、【C:フィールドワーク(実験・実習、演習を含む)】、【D:プレゼンテーション】
A: --% B: 25% C: 30% D: 15%
成績評価法
レポート(複数回)80%、講義等への参加度 20%
欠格条件:2回以上の欠席
教科書にかかわる情報
備考
Dropbox等を利用し、資料等を共有する。また、教科書は、必要に応じて講義の際に指示する。
参考書にかかわる情報
備考
メッセージ
コミュニケーション空間によって、伝わる意味が変わることもあります。受講する皆さんと一緒に考えていきたいと考えています。
キーワード
マルチモーダル情報、言語伝達、語用論
持続可能な開発目標(SDGs)
(教育)すべての人に包摂的かつ公正な質の高い教育を確保し、生涯学習の機会を促進する。
関連科目
履修条件
連絡先
安田 哲也
TEL:0836-85-9515 (前期)
E-mail:tetsu-yasuda[at]yamaguchi-u.ac.jp
※[at]は、半角の記号@に変更してください。
オフィスアワー
研究室:工学部知能情報棟404(前期)
前期:月曜日 16:30~18:00
ページの先頭へ