コラム

3Xによる行動変容の未来2030最先端技術

ヒューマン・デジタルツインの技術概観(前編):見る技術と伝える技術

心とデジタルの融合(2)

タグから探す

2025年11月14日

先進技術センター齋藤達朗

大山みづほ

3Xによる行動変容の未来2030
人の心をサイバー空間で再現するHDT(ヒューマン・デジタルツイン)は、災害対応や医療、教育、ビジネスなど多分野での活躍が期待されます※1。一方で、その実装にはさまざまな技術進展が必要です。このコラムでは2回にわたってHDTの技術体系と現在地を概観します。今回は前編として、HDTが現実との接点を持ち「人の心」をデジタル化する上で特に欠かせない「見る」技術と「伝える」技術について、その現状と課題、そして将来の可能性を紹介します。

HDTとリアルの接点:「見る」技術と「伝える」技術

HDTの技術群は、サイバー空間の内側と外側で大きく二分できます(図表1)。サイバー空間の内側では、モデル化技術(心理的特性と応答をモデル化する技術)と基盤技術(モデル化を安全で効率的に実現するための技術)が重要です。他方、外側では人の心を「見る」技術と「伝える」技術がカギとなります。このコラムでは後者について紹介します。

HDTは、サイバー空間では他のHDT(ヒューマン・デジタルツイン)やアバター、モノのDT(デジタルツイン)などと相互作用をしますが、それだけではデジタルシミュレーションの域を出ることはできません。DTである以上、あくまで現実空間からサイバー空間に情報を入れ、またサイバー空間から現実空間に情報を出す、現実空間との相互作用(インタラクション)が必要です。例えば、メンタルヘルスへの応用としては、サイバー空間上に再現したHDTに個人の心理情報を入力し、精神状態の悪化や改善の兆候を本人や医療関係者に伝えることが必要になります。

HDTが単なるデジタルシミュレーションにとどまらず、現実空間とリアルタイムにインタラクションを行う存在となるには、「見る」入力技術と「伝える」出力技術が重要です。つまりサイバー空間でのシミュレーションとともに、現実空間での情報としてデジタルログ・心理情報・生体情報などを読み取りHDTへ入力するプロセス(「見る」入力技術)と、HDTがシミュレーションし得られた情報を現実空間へ出力するプロセス(「伝える」出力技術)がカギとなります。
図表1 HDTの全体像
HDTの全体像

内面を見る技術・伝える技術の現在地

図表2に、HDTに限らず「人の心」の入出力に関連して利用される代表的な入力技術、出力技術をそれぞれ類型化して示しました。
図表2 現状入出力技術の類型
現状入出力技術の類型
三菱総合研究所作成
入力技術としては、現状では残念ながら「人の心」を直接検出する技術自体は存在しません。ただし、特定の情報をもとに感情や情動を推測する技術が進んでおり、入力情報として言語情報や行動・外観情報、生体情報などを用います。例えば、言語情報として会話ログや購買履歴といったデータを使い、人間の購買意欲を推測する技術は広く活用されています。音声や行動、表情の変化をもとにストレス状態を推測するものもあります。さらには汗や体内の成分から心理状態を予測する研究もなされています。

これらの技術をHDTに適用する際には、大きく2つの区分に分けて考えることが重要です(図表2上)。1つめは、ウェアラブルデバイスや位置センサーなど多くの場面で使える入力技術(非侵襲技術※2)。2つめは、人の体の中に入れる侵襲型センサーやfMRIのような大型設備を必要とするため、病院内など特定の条件下でしか使えない入力技術です。前者はサイバー空間上に人の状態や行動をもとに「人の心」を推定するモデル構築から、構築したモデルに「人の心」を推定したい条件を入力する運用まで、幅広く使える可能性があります。一方で、得られる情報には限界があります。また後者は、特定条件下でしか使えず、「人の心」を推定したい状況でのデータが得られにくいため、HDTの運用時の入力技術としては向いていません。ただし、一度データを取得できればいいモデル構築のような限られた場面では使われる可能性があります。特に、非侵襲入力技術では得られない精緻な情報を得られるという利点があり、HDT技術を確立する上では重要になると考えます。

出力技術には、機械や人への直接出力、環境経由の間接出力があります。機械への直接出力はデータの出力を指しますが、人への出力は①生理的作用、②心理的作用(事実出力)、③心理的作用(意味出力)の3つに分かれます(図表2下)。生理的に作用する技術(①)は、例えば装着型電極ハプティクスなど、人の脳や筋肉へ直接物理信号を送る技術で、現在、萌芽研究レベルにあります。視覚や聴覚などの感覚器に働きかけ心理的な作用を与える技術には、テキストデータなど言語情報を単なる事実として出力するもの(②)や、マルチモーダルな意味出力(③)があります。マルチモーダルな意味出力では、ARグラスやホログラフィックディスプレイなどを介し、非言語情報(音声、表情、身ぶりなど)を主に映像として出力します。

また、間接出力では、周辺の照明や温度などを変化させ、周囲環境の変化から無意識な行動変容を促します。例えば、飲食店でテンポの速い音楽をかけることで回転率を高めたり、逆にテンポの遅い音楽や香りなどで高級感を演出し、滞在意欲や購買行動を促進したりするなどの工夫がすでになされています。

「人の心」へのアクセスと技術課題

「人の心」を正確にデータ化し直接入出力することは、依然として最も高い壁の1つです。例えば、心理情報への入力に関しては、得たい心理的特性に相関のある情報を、必要な「確からしさ」で得ること自体に課題があります。言語情報の入力ではペルソナ像による分類のような、その人の長期的な心理的特性をもとにしたシミュレーションには応用できますが、その時々の情動をリアルタイムに反映することは困難です。このような情報の推定としては、ウェアラブルデバイスなどの非侵襲的な手法では、発汗量や脈拍など一部の生理データから推定結果が得られます。しかし心理情報を直接計測できない以上、その精度や妥当性の確認も難しい状況です。もっともらしい心理情報の推定に向けては、より体内の情報を直接反映したように考えられる脳内伝達物質や脳波の検出が挙げられます。これらの情報を得るには、前述の通り体内にセンサーを埋め込むような侵襲型の技術や高価な装備が必要で、倫理的ハードルも非常に高いという課題があります。

一方、心理情報の出力としては、用途によっては既存のディスプレイで十分な場合も多くありますが、これらは直接的に「人の心」に出力するものではありません。当面はARグラスやホログラフィックディスプレイなどを介した出力が中心です。ゆくゆくは温度や照明など環境に作用し、デバイス不要でより自然な形での出力も増えると見られ、間接的な作用にとどまります。また、直接的に「人の心」に出力する技術、介入する技術などは、人を操縦するような技術になりかねないため倫理的ハードルが高く、技術的にも未成熟です。

複数技術の統合により進化する未来のHDT

HDTの次なる進化では、複数情報を統合し、マルチモーダルデータとして扱う技術がカギを握ります(図表3)。
図表3 有望な萌芽技術
有望な萌芽技術
三菱総合研究所作成
HDTの入力情報に関しては、現在主に使われている言語情報や行動情報のみではなく、非侵襲技術によって得られる生理情報や、特殊な環境でしか得られない生理情報など、さまざまな情報を取り入れる方法が検討されています。その上で、これらの情報入力技術を統合してマルチモーダルデータを扱うことで、より現実を反映したと思えるHDT環境を作ることができます。複数の入力情報をもとにした心理的特性の推定の萌芽事例としては、脳波・脈波・呼吸による精神状態の推定が挙げられます。こちらは多角的な非侵襲情報をもとにすることで、より妥当と考えられる推定を可能とします。このようにさまざまな情報の統合により、推定できる心に関する情報の種類の増加や推定の妥当性向上という進化が期待できます。

出力技術についても、現状では言語や視覚に依存する情報伝達が中心ですが、多感覚的な出力が注目されています。例えば、バーチャル森林浴など、視覚や聴覚だけでなく触覚や嗅覚を組み合わせて出力することで、よりリラックスや没入体験を提供することができます。また、出力情報の統合だけでなく、入力情報も組み合わせることで、当人の状態に合わせた空間設計などにつなげることができます。一方で、設計者にとって都合のよい働きかけを行い、行動をコントロールする懸念もあり※3、倫理的な配慮が求められます。

なお、HDTに入力する情報や出力される情報には、個人情報に直結するものも多く含まれます。情報を適切に保護するとともに、利用目的のコントロールも必要です。例えば、HDTをメンタルケア用途で利用する場合には、ヘルスデータから個人情報が推測される、HDT提供企業にデータをのぞかれるなどのリスクがあり、これらを踏まえた実効性のある個人情報の保護や利用権のコントロールなどが必要です。

※1:ヒューマン・デジタルツインとは何か?「人の心」をサイバー空間に再現する革新技術(3Xによる行動変容の未来2030 2025年7月10日)

※2:入力技術のうち、体内にセンサーを埋め込むなどにより情報を取得するものを「侵襲技術」、体を傷つけたり、体内にモノを入れたりせずに情報を取得するものを「非侵襲技術」と呼びます。非侵襲技術は、位置センサーやカメラのように外観の情報を取得するものが多いですが、図表2に示すように生理情報を取得する技術もあります。

※3:例えば、行動経済学では「望ましくない行動をさせる」「望ましい行動を妨げる」などの悪い働きかけはスラッジと呼ばれています。
社会課題を解決する「ナッジ」の設計の勘所(MRIマンスリーレビュー 2023年4月号)

著者紹介

連載一覧

関連するナレッジ・コラム