[編集発行] (公財)つくば科学万博記念財団 [協力] 科学技術振興機構(JST)・文科省研究交流センター

つくばサイエンスニュース

わかる科学

指先の色の変化を利用!
AR/MR入力で壁をタッチパネルにする新技術

(2026年5月01日)

 近年、ビジネスから教育・ゲームまで、AR/MR(Augmented Reality:拡張現実・Mixted Reality:複合現実)機器が普及しています。拡張現実とは、カメラなどでとらえた現実世界にデジタル情報を重ねて表示する技術。また、複合現実は、さらに進んで現実世界と仮想世界を融合・共存させる技術です。

 これらの技術を利用するときは、スマートグラスやヘッドマウントディスプレイなどの専用機器を装着する場合が多く、仮想空間で文字やコマンドの入力を行うため、何も支えのない空間で指先を動かす必要があり、入力が難しいという課題がありました。

今回、この課題を解決する新しい文字入力ユーザーインターフェイスが開発されました。指先の色の変化を利用するものです。

 東北大学電気通信研究所のチョウ・コウカン特任研究員らの研究グループは、指先が硬い面に触れて圧力が加わると血流が妨げられ、他の指よりも白く見える「ブランチング現象」を利用して行う入力方式を提案しました。

図1. 指先を壁などの平面に押し当てた際に生じる皮膚の色の変化(ブランチング現象)。Zhao el al.

 「BlanchTouch」と名づけられたこの新しい入力方法は、壁やデスクなどの硬い平面に仮想的にキーボードを重ね合わせて表示させ、どれかのキーを指先で押した際に、指先の色が変わることで、どのキーが押されたかを認識するものです。研究グループは、この現象をカメラ画像から認識するAIモデルを開発しました。この方式は特別なセンサーや追加装置を必要とせず、硬い平面さえあれば入力を行うことができます。

図2. 本技術で使用しているAIモデルによるブランチング現象の検出例。Zhao el al.
図3. 本技術の利用例。壁面をタッチ入力面として用い、バーチャルなユーザインタフェースを操作する様子。Zhao el al.

 この技術によって、現在、使われているような空間ジェスチャー(何にも触れず空間で指先を動かすこと)と比べて安定感を持って仮想世界を活用できるようになると研究者は考えています。

  まだ基礎研究の段階ですが、今後さまざまな環境と利用状況において、この技術の有効性を検証し、AR/MR環境をより使いやすいものにしていきたいといいます。

 

【参考】

■東北大学プレスリリース
指先の色の変化でAR/MR操作を実現する新入力技術

サイエンスライター・白鳥 敬(しらとり けい)
1953年生まれ。科学技術分野のライター。月刊「子供の科学」等に毎号執筆。
科学者と文系の普通の人たちをつなぐ仕事をしたいと考えています。