オンラインコミュニケーションを高度化する技術

1．オンラインコミュニケーションを高度化する技術の概要

コロナ禍により人と人の接触を避ける必要が生じたことから、オンラインコミュニケーションの普及が一気に進みました。オンラインコミュニケーションを言い換えると、デジタルデータに変換された映像や音声を活用して、ネットワークで結ばれた人と人の間で行われるコミュニケーションだと言えます。コミュニケーションの形態は１対１から多人数での会議やセミナーまでさまざまですが、これらは「ICT技術」と総称される、映像や音声をデジタル化して伝送する技術や、人と人を結ぶネットワークや通信の技術などで実現されています。デジタルデータ化された映像・音声は、さまざまな加工や解析を行うことが可能になるだけでなく、さらに新たな技術を導入することによりオンラインコミュニケーションは単なる遠隔コミュニケーションから、より高度なサービスへ進化する可能性があります。

5G通信やエッジコンピューティングといったICT技術の進展によりオンラインコミュニケーションは当然高度化していきますが、本コラムではそれだけでなく生活の利便性を高め、幅広い分野へ適用できるようになる技術を4分野取り上げたいと思います。すなわち図1に示すように「3つの技術分野」（xR技術、AI技術、テレイグジスタンス技術）と将来実現すると思われる「将来技術」の4分野です。

これらの技術が実現する「将来像」の概略にまず触れてみましょう。
ICT技術、xR技術、AI技術の活用が進むと、オンラインコミュニケーションはそのコミュニケーションのフィールドがオンラインの枠を超え、サイバー空間に拡張されていくことを意味します。サイバー空間への拡張によって、参加者は距離に関係なく多人数で自然な会話や体験の共有ができ、さらにはアバターと呼ばれる自分の分身（バーチャルヒューマン）を使って、例えば過去にさかのぼったような、現実ではできない体験も可能になるでしょう。

また、テレイグジスタンス技術の導入により、オンラインコミュニケーションはフィジカル空間にも拡張されます。自分の分身ロボット（アバターロボット）が遠隔地での会議や作業、観光などを行えるようになるだけでなく、複数のアバターロボットを並列で制御していくつかの作業を同時並行的に行うようなこともできるようになります。
以上のようにオンラインコミュニケーションがサイバー空間やフィジカル空間へ拡張されることにより、物理的な距離や時間の使い方が変わり、ひいては時間と空間の概念が変わっていくでしょう。そして最終的にはオンラインによるサイバーとフィジカルの融合にまで到達します。サイバーとフィジカルがオンライン上で融合されることによって、体の障害や体力の衰えなどをオンライン上でサポートすることが可能になり、多くの人が社会へ参画する可能性が高まることでしょう。

次の2章ではxR技術と総称されるAR（拡張現実）／VR（仮想現実）／MR（複合現実）／SR（代替現実）の概要と、表示デバイスの進化、「ニューラルレンダリング」と呼ばれる仮想空間の3D技術について説明します。3章ではAI技術のカテゴリーからオンラインコミュニケーションをサイバー空間に拡張するための技術として、自然言語処理と感情認識・表現について述べます。4章ではオンラインコミュニケーションをフィジカル空間に拡張するためのテレイグジスタンス技術として、アバターロボットの制御と、映像（視覚）、音声（聴覚）に触覚・嗅覚・味覚までを含めた「五感のセンシング・伝送」について説明します。5章では将来技術として「BMI（ブレイン・マシンインターフェース）」と総称される脳活動のセンシングとその活用や身体機能の拡張について、さらに現在実用化されている特化型AIとはカテゴリーが違う汎用AIについても触れていきます。

2. xR技術

xR技術と総称される各技術の概要

VR（Virtual Reality：仮想現実）はディスプレイやヘッドマウントディスプレイ（HMD）に映し出された「仮想世界」に、自分が実際にいるような体験ができる技術です。
AR（Augmented Reality：拡張現実）は、VRが「別の仮想空間」を作り出すのに対して、現実世界にCGなどで作るデジタル情報を加えるもので、現実世界に仮想現実を反映（拡張）させる技術です。
MR（Mixed Reality：複合現実）は現実空間と仮想空間を融合し、現実のモノと仮想的なモノがリアルタイムで影響しあう新たな空間を構築する技術です。MRの場合、ARとは逆で、主体は仮想世界（サイバー空間）となり、現実世界（フィジカル空間）の情報をカメラなどによって仮想世界に反映させることができます。現実世界の情報を仮想世界に固定できるため、同じMR空間にいる複数の人間が、同時にその情報を得たり、同じ体験をしたりすることができます。
SR（Substitutional Reality：代替現実）は現実世界の映像に別の映像を差し替えて映す技術です。例えば昔の出来事があたかも目の前で起きているかのような錯覚を引き起こすことができます。

これらの技術を使うことにより、オンラインコミュニケーションは単なる人と人の対話を超越し、さまざまな用途の手段と変化します。仮想会議室で行われるミーティング、遠隔から作業指示を出して現実画像に重ね合わせるティーチング、サイバー空間で多数の動画やCGを共有しながら開催される講演会、古戦場で繰り広げられた合戦の再現など、その実現する姿は多様です。そしてこのようにxR技術は「視覚」の面から時間と空間の概念を変えると言えます。

表示デバイスの進化

xR技術を進化させるためには、表示デバイスの進化が不可欠です。資料によって詳細な数字は異なりますが、人間が外界から取り込む情報の80～90%が視覚からの情報とされており、xR技術の実現には「視覚」は極めて重要な位置を占めます。
現在表示デバイスとして主に使われているのはヘッドマウントディスプレイ（HMD）ですが、現状のHMDで人の視野を完全に再現できているものはありません。また、人間は立体を認識する際、両眼の視差と単眼のピント調節の両方によって奥行きを認識しますが、HMDが再現できるのは両眼視差によるものだけであり、これがVR酔いの原因となっています。
これらの課題を改善するアプローチも行われており、一例としてはHMDのように両眼の前にディスプレイを置くのではなく、網膜に直接映像を投影する技術も開発されています。また、顔にHMDを装着することはどうしても違和感を伴うことや、複数の人間で同一映像による体験共有ができないこともあって、裸眼で空間を認識できる方法の検討も進められています。例としてはライトフィールドディスプレイなどの3Dディスプレイの開発や、プロジェクションマッピングによって遠隔地もしくは仮想空間を再現する試みが行われています。

ニューラルレンダリング技術

xR技術によりオンラインコミュニケーションがサイバー空間に拡張されていくと、課題になるのがサイバー空間を効率的に構築する方法です。現状では3次元CGを生成するためには、事前に被写物すべての3次元モデルを作る必要があり、準備無しに任意の空間を3次元CG化することは困難です。これを効率化するための技術が「ニューラルレンダリング」、つまり2次元画像の情報のみから、その空間の3次元的な構造を機械学習により類推し、3次元CGを生成する技術です。
この技術が進化すれば、サイバー空間上に現実世界の場所に即した仮想世界を即座に構築できるようになります。現実世界と同じ活動をサイバー空間上で行えたり、例えばサイバー空間上に観光地を再現してそこに失われてしまった歴史的建造物等を映像化して体感したりということも可能になるのです。あるいは現実世界では実行不可能もしくは反復できないようなシミュレーションなども容易に行えるようになります。

3．AI技術

AI技術の進展によって自然言語処理や画像処理の実用化が進み、オンラインコミュニケーションの場面でも応用が進んでいます。AIは人と同じように言語や外界を理解しているわけではありませんが、人がコミュニケーションに用いるこれらの情報を識別・抽出・加工して、オンラインコミュニケーションを支援・高度化する情報を生成することができるのです。

AIを活用した自然言語処理技術の状況

AIによる自然言語処理の実用化は、対話理解や機械翻訳に代表される「インプット側の処理」と、文章自動生成の「アウトプット側の処理」の両面で進んでいます。

インプット側の処理である対話理解において、人との自然な会話は長らく機械にとって困難な課題でしたが、コーパス（言葉のデータベース）と機械学習を利用した技術革新によって、米IBM社のAIシステム「Watson」が質問応答タスクで非常に大きなインパクトを残しました。以降、雑音のあるなかでも高精度で音声認識が可能になるなどの技術進展が続き、現在では電話応対でのオンライン予約を人間の代わりにAIが行うサービスも実用化されています。
機械翻訳においては、ディープラーニングを利用した技術革新により翻訳精度が飛躍的に向上しました。2017年にサービスが開始された独DeepL社の「DeepL翻訳」では日本語の方言に対しても自然な翻訳が可能になるなど、高精度かつ汎用性の高い機械翻訳が実現しています。

一方アウトプット側の技術である文章自動生成とは、入力されたわずかなテキストを元に、それに続く自然な文章を自動的に生成する技術です。汎用AIに特化した研究活動を行っている米国の非営利団体OpenAI が2020年に発表した文章生成ツール「GPT-3 」は、少量のデータを与えるだけでさまざまなタスクを実行できる「少数ショット学習」を実現し、その高い精度で注目を集めました。今後コンピュータープログラムのコードを生成するなどの幅広い応用が期待されています。

これら自然言語処理の高度化により、母国語の異なる人同士のコミュニケーションや、視聴覚にハンディキャップを持つ人々のコミュニケーションハードルが大きく下がることが想定されます。また、受け取ったメッセージの内容をAIに分析させたり、適切な返信の作成支援をAIに行わせたりすることで、人の作業負荷を減らし、高密度・高効率のコミュニケーションが可能となります。

AIを活用した画像処理技術による感情認識・表現の進化

AIによる画像処理技術は、オンラインコミュニケーションにおいて参加者の表情や感情を認識したり、従来とは異なる表現を提示したりすることに活用されています。
対面コミュニケーションでは、言語的な情報だけではなく顔の表情や声のトーン、ボディランゲージなどの非言語的な情報が重要な役割を果たしますが、ディスプレイ越しのコミュニケーションやアバター同士のコミュニケーションではこれらの情報が欠落しやすく、会話の機微や、相手の感情を推し量ることが難しい場面もあります。しかしAIによる画像処理技術を導入することによって、ディスプレイに映った顔から表情や感情をラベリングすることが可能になります。
話者の表情を読み取りアバターに反映する技術はすでに実用化に入っており、カメラで撮影した話者自身の顔画像に表情を乗せるだけではなく、キャラクター型のアバターに対して話者と同じ表情を乗せることもできます。
逆に、円滑なコミュニケーションのため（もしくは感情を悟られないため）に、話者の表情を加工して提示する技術も開発されています。さらに、表情を維持しながら話者の容貌を異なる顔に入れ替えることで、オンラインコミュニケーションにおけるプライバシー保護も実現します。オンラインコミュニケーションにおける感情把握については表情だけではなく音声情報の利用も進んでおり、Empath社のソフトウェアでは音声から感情成分を定量的に評価・可視化することが可能となっています。

4．テレイグジスタンス技術

「テレイグジスタンス（Telexistence）」とは、人が自分の居る所とは異なった場所に実質的に存在し、そこで自在に行動するという人間の存在拡張の技術です。具体的には人が遠隔地にあるロボット（アバターロボット）を自分の分身であるかのように感じながら制御する技術です。
アバターロボットを自分の分身として操作することによって、人は実在から離れた場所で活動できるようになるだけでなく、障害や老化などの身体的ハンディキャップや、筋力などの身体能力の制約から解放されて活動することが可能になります。また、複数のアバターロボットを並列的に処理できるため、移動時間や距離にとらわれないで複数の作業を並行して行えるようになることから、この面でも時間と空間の概念が変わると言えます。

人の脳は意志と同期して動作する道具を「身体の一部」として認識する性質があります。感覚情報を脳に伝達でき道具の動作が思い通りならば、道具と距離が離れていたとしても「身体の一部」として認識されるのです。人がアバターロボットを自分の分身と捉えられるようになるには、人の五感（視覚、聴覚、触覚、味覚、嗅覚）を数値化し伝送・再現すると共に、アバターロボットが人の思い描く動作をリアルタイムに行う必要があります。

五感の伝送技術とセンシング技術の現状

五感の伝送・再現のうち視覚・聴覚は既に実用化されさまざまな分野で活用されています。
「触覚」の伝送・再現も研究が進められており、センサーにより検出された触覚情報を「振動・力・温度」に分解し数値化することが提唱され、実現にむけた技術的なめどが立っています。
「味覚」は苦味・甘味・渋味・酸味・塩味・旨味・コクなどさまざまな味の要素を検出できる「人工脂質膜型味覚センサー」が開発されており、味覚情報の数値化と伝送が可能となりました。味覚情報の再現についても、任意の味を再現するデバイスが試作されています。
「嗅覚」はデジタル化して伝送するための匂い成分の種類が多いことと、多種の匂い成分を脳と同様にリアルタイムで処理して匂いの判断をしなければならないことなど、技術の難易度が高いため実用化が遅れていますが、さまざまなアプローチがなされていて徐々に進化していくものと思われます。すべての匂いを伝送し再現するためにはまだ時間がかかりますが、特定の匂いに限定すれば、電子的に遠隔地で匂いを再現することは可能になってきています。

クロスモーダル効果

人間が外界から情報を取り込む五感（視覚、聴覚、触覚、味覚、嗅覚）情報のすべてを完全に伝送し再現できれば理想的かもしれませんが、そのためには人間全体を再現装置で囲むことになってしまい、現実的ではありません。物理的数値と人間の知覚は必ずしも一致しておらず、例えば風鈴の音で実際には風に当たっていなくても清涼感を感じるように、外界からの入力に過去からの経験がミックスされることにより存在しないはずの感覚を味わうことを、五感の相互作用により生まれる錯覚、すなわち「クロスモーダル効果」と呼びます。「クロスモーダル効果」は、錯覚を引き起こすだけでなく、精度の高い情報伝達にも貢献します。例えば粗い視覚情報であっても、音が聞こえる方向から人の位置や物の動きを補完することができます。
この効果を使えば五感の情報すべてを人間に与えなくとも、オンラインコミュニケーションにおける現実感を高めることができるため、今後活用が進むものと思われます。

5G通信が開くアバターのリアルタイム制御への道

アバターロボットのリアルタイム制御を実現するには、制御のための処理を本体、エッジ、クラウドそれぞれのコンピューターに最適配置することが必要ですが、それ以上に人とアバターロボット間の通信が低遅延であることが必須となります。2020年からサービス開始された第5世代移動体通信（5G）はネットワークトータルでの低遅延が特徴の一つであり、フィールドにおけるアバターロボットのリアルタイム制御に道を開きました。人は実際の動作と感覚の遅延に対して感覚ごとに許容範囲が異なり、視覚で70ms程度、聴覚ではもっと大きな遅延まで許容するのに対して、触覚は1ms 程度と厳しいものの5G通信であれば実現可能と考えられています。

5．将来技術

オンラインコミュニケーションがサイバー空間、フィジカル空間のそれぞれへ拡大していくことで、従来とは異なるかたちのコミュニケーションが生まれます。サイバー空間では物理的な身体機能の限界から解放され、フィジカル空間では離れた場所や危険な場所での活動が可能になります。さらにそれらの融合により、サイバー空間を介した現実世界との新たな関わり方が生まれるかもしれません。このような身体性や空間的な制約からの解放は、身体拡張やBMI（ブレイン・マシンインターフェース）、汎用AI技術の将来的な応用により、さらに加速していくと予想されます。

アバターロボットによる身体拡張

テレイグジスタンス技術の集大成は、人の身体性を保持しながら機能補完・機能拡張するアバターロボットです。人の身体の動きに連動して動くアバターロボットの産業利用は、すでに実証試験段階に入っています。今後、各種センサーをアバターロボットに装着することで、アバターロボットを通じて現地の環境を五感で感じられるようにもなるでしょう。高い操作性を持つアバターロボットが実現すれば、遠隔地での活動を、ディスプレイ越しの世界ではなくあたかも身体が拡張したかのごとく自然に感じることができ、それが日常生活の一部となることもあるでしょう。もし世界各地のアバターロボットをレンタルし合う環境が実現すれば、特にビジネス用途などでの物理的身体の移動が不要となるかもしれません。
一方、人の身体性にとらわれないコミュニケーションの方向性の研究も進められています。例えばドローンに入出力機構を装備し、ヘッドマウントディスプレイを装着して操作すると、新たな視点を獲得するだけでなく、新たな視点から操作者が操作者自体を観測できるようになります。これによって第三者視点からのトレーニング効果の向上のみならず、体外離脱のような新たな体験につながることが報告されています。

BMIの現状と期待

BMI（ブレイン・マシンインターフェース）は脳活動を計測・分析して機械をコントロールする技術であり、身体を経由せず、行動意図をそのまま機械に反映させることができます。脳波や脳血流量などの脳活動を反映するデータを計測して高度な時系列データ解析を行うことで、意図や感情などを含む脳の状態を判別します。それらの抽出された情報を基に、機械が適切に動作するよう設計されています。
物理的身体の動きを必要としないサイバー空間のコミュニケーションでは、BMIによる操作が中心となっていくことは十分に考えられます。フィジカル空間においても、「第3の手」をBMIで操作する研究が進んでいるなど、身体拡張技術とのシナジーが進んでいます。また、BMIは四肢等に障害がある人の入出力機構としても有力な技術であるため、AI技術やテレイグジスタンス技術と連携することで、革新的なバリアフリーの実現も期待できます。
同時に、脳神経科学の研究開発はBMIだけにはとどまりません。例えば脳活動から心身の健康状態や疲労度、感情を把握することで、医療やメンタルトレーニングの場面で円滑で適切なコミュニケーションに繋がることが期待できます。また自分の脳活動を観察しながらよりよい状態に変化させていくニューロフィードバックの手法など、医療だけでなく業務・学習支援の側面からの応用も想定されます。

汎用AIの実現が開く可能性

身体拡張技術やBMIは、汎用AIの実現によりさらに高度化していくでしょう。汎用AIは特定の課題や利用場面に特化した特化型AIとは異なり、適用対象が汎用的で、活動における自律性を獲得したAIです。現時点では人から完全に自立した汎用AIが実現する見通しはいまだ立っていませんが、機能の組み合わせによって複数タスクに汎用性を持たせたり、例えば好奇心のようなものを実装したりといったことが可能になってきています。
汎用AIが実現すれば、簡単な指示を出すだけで、自分の思い通りに動いてくれるようなアバターロボットも生み出すことができるでしょう。そうなれば、同時並行的に世界各地に散らばるアバターを操作する、文字通り「分身」に近いようなコミュニケーションの形態に繋がるかもしれません。
また、操作だけではなく、外部入力の情報処理を汎用AIに支援させることも想定できます。センサーによる入力情報をAIが分析して人の五感に反映させることができれば、これまで見ることができなかった色が見えたり、超音波を知覚できたりといった、超感覚を付帯することも可能となるでしょう。

6．まとめ

このように、新たな技術の導入により高度化したオンラインコミュニケーションは、時間と空間の概念を変えるだけでなく、オンライン上の支援によって障害や老化などの身体的ハンディキャップ、筋力・視力・聴力などの身体能力、言語などの壁を取り払い、人それぞれの活動領域を広げ、可能性を拡大することにつながります。生活の利便性が向上するだけでなく、今まで種々の制約があってできなかったような行動ができるようになることで、トータルのQOL向上につながっていくものと考えます。
一方で課題もあります。外界とのリアルな接触が減少したり、物理的身体の相対的な価値が低下したりすることで、人の認知機能や心身の健康、アイデンティティー形成などに変化が生じるかもしれません。併せて、文化や倫理など、社会的な面で変化が生じる変化についても議論が必要になるでしょう。

国際競争力の観点で見ると、サイバー空間における日本の存在は、技術的に大きな遜色があるわけではないものの、相対的に低下してきています。これに対してフィジカル空間では技術的にもビジネス的にも依然として大きな存在感を持っており、今後も日本が世界に対して存在感を維持するためにはフィジカル空間での強みを活かしていく必要があります。サイバーとフィジカルの融合をいち早く実現することがその最善策であり、これによってグローバルトップランナーの地位を確保することが、日本発の多様なビジネスが生まれることにつながるはずです。そのためには、産学官による幅広い連携、技術・社会両面での議論の深化が重要です。