豊かな対話環境を実現！AIエージェントの対話がより自然に

(2026年7月01日)

　東京科学大学 情報理工学院 情報工学系の小池 英樹 教授とカーネギーメロン大学 ロボティクス研究所の木谷 クリス 教授らの研究チームは、対話音声から自然な感じのジェスチャーを生成する「DyaDiT」と呼ばれる深層学習モデルを開発しました。

　このツールは、対話をしている2人の人物の音声情報だけでなく、互いの関係性、性格といった社会的な要素をも考慮したもので、一人が話しているときに、聞き手が自然なリアクションによるジェスチャーを生成してくれます。

　人と人がコミュニケーションを行うときは、言語や音声などの直接的な情報だけでなく、身振り・手振り・うなずきなど身体による動作が重要な役割を果たしています。

　しかし、従来のジェスチャー生成技術の多くは、一人の話者の音声からのみジェスチャーを生成する場合がほとんどで、話者と相手との関係性における相互作用を反映することはできませんでした。そのため、生成されるジェスチャーは、ぎこちなく豊かさに欠けるものでした。これでは、実際に人どうしが対面で話しているような、リッチな関係性を再現することはできません。

　そこで研究グループは、対話をしている二人の音声を同時に解析することで、対話における相互作用を理解し、同時に話者自身が行っているジェスチャーや反応の情報も入力することで、その場のコミュニケーションにふさわしいジェスチャーをリアルタイムに自動生成できるようにしました。

　この技術により、デジタルヒューマンや対話型AIエージェントが、いっそう自然な感じでコミュニケーションが行えるようになります。現在はまだ上半身のみの対応ですが、これからは全身のジェスチャーにもチャレンジしていきたいそうです。

　人間どうしの会話は常に相手の発言や動作によってフィードバックをかけられています。そういう状況をリアルタイムで深層学習モデルに入力し、即座に自然なジェスチャーを行わせるこのツールは、これからの生成AIエージェント時代に欠かせない技術となることでしょう。

【参考】
■東京科学大学プレスリリース
対話音声からジェスチャーを生成するAIを開発

■論文
DyaDiT: A Multi-Modal Diffusion Transformer for Socially Favorable Dyadic Gesture Generation

サイエンスライター・白鳥 敬(しらとり けい)
1953年生まれ。科学技術分野のライター。月刊「子供の科学」等に毎号執筆。
科学者と文系の普通の人たちをつなぐ仕事をしたいと考えています。