AI人形浄瑠璃研究会

目 的

文楽を代表とする人形浄瑠璃の優れた感情表現所作からそのエッセンスを抽出して、ロボット工学や心理学、言語学などに応用することを目的とした研究チームです。現在は、今まで困難とされた人間的な感情表現の所作を解析し、AIに深層学習させることで人形浄瑠璃の所作を再現するAI人形浄瑠璃ロボットを製作しています。将来的には人工感情(人工的に感情表現を表出できる)を備えたホームロボットの開発を目指しています。

 

 

研究紹介 :

本研究では、まず人形浄瑠璃の所作をモーションキャプチャ(光学式と磁気式を併用)でデータ収集します。そのデータを解析をして、さらにAIによる深層学習することで感情表現の原理を抽出します。次に、それに合わせて浄瑠璃(音楽と語り)の解析を行い、文楽の感情表現動作のセグメンテーションを行い部品化し、その化部品化された動作をロボット動作に応用できるように変換していきます。最後に人が感情表現を実際に体感できるように、目視による動作編集を行います。最終的には人工感情(感情を表出できる)を備えたホームロボットの開発を目指しています。得られたデータは、介護やコミュニケーション教育の分野に応用していきます。

現在、インターネットでの誹謗中傷が大きな問題となっていますが、これは、相手の感情を理解する他者理解の能力が欠如していることで起きます。本研究は、日本人が長年かけて育んだ他者理解を取り戻すための研究でもあるのです。簡単な解説

詳細な解説  ヒルベルト・ファン変換を用いた解析

モーションキャプチャ(パワーポイント・ファイル) 首の動き  画像下の▶をクリックすると動画が再生します。

モート環境における人形浄瑠璃とAIロボットの共演  https://www.youtube.com/watch?v=vh-62M6_i4E&t=833s

 

メンバー紹介 

 研究責任者:蔡 東生(筑波大学 システム情報系 准教授)

        早野慎吾(都留文科大学 文学部 教授)

        生野壮一郎(東京工科大学 コンピュータサイエンス学部 教授)

 研究リーダー:董然(東京工科大学 コンピュータサイエンス学部 助手)

 領域アドバイザー(※ACT-iにおけるアドバイザー)尾形哲也(早稲田大学 基幹理工学部 表現工学科 教授)

 研究協力者:野中善政(宮崎大学名誉教授) 陳暘 何昱穎 山崎祥香 談子駿 劉飛(以上筑波大学大学院生)

 伝統芸能師:西川古柳(人形遣い) 西川柳玉(人形遣い) 竹本乾太夫(義太夫) 野澤仁一郎(三味線)

 2020年2月8日 研究記者会見時の画像  動画 https://sites.google.com/a/cavelab.cs.tsukuba.ac.jp/ningyo-joruri/

 

研究業績 

本研究会では、研究助成を募っています。

連絡先 都留文科大学早野研究室 0554-43-4341(内線525) 筑波大学蔡研究室 029-853-5541 

    東京工科大学生野・董研究室 042-637-2111(内線2541)