マンスリーレビュー

2023年10月号特集1テクノロジー情報通信

非言語情報のデジタル化で変わるコミュニケーション

同じ月のマンスリーレビュー

タグから探す

2023.10.1

先進技術センター中村 裕彦

POINT

  • コミュニケーションは言語/非言語のやりとりである。
  • AIによって非言語情報のデジタル化も可能になりつつある。
  • コミュニケーションは「強化」と「拡張」に向けて変革。

言語/非言語で進むコミュニケーション

われわれは、言語情報に加えて非言語情報をやりとりすることにより、他者と意思の疎通を図っている。話し手は言語による発話に加え、表情や身ぶり手ぶりなどのジェスチャー、口調や発話のペースの調整などを通じて、言語にさまざまな意味を付け加える。

受け手側も相づちなどにより、情報への関心や同意の程度を表現する。また、身体的な接触や相手との距離を変えることで親密さをアピールし、アクセサリーや服装、室内の装飾品や雰囲気によって、相手への親しみや敬意を表現する。

コミュニケーションに関係する非言語情報には、①表情やジェスチャーなどの身体動作、②声色などの周辺言語、③身体的接触、④距離感・位置関係、⑤年齢や性別、体格などの身体的特徴、⑥眼鏡や衣服、装飾品などの人工物、⑦場の雰囲気や調度品などの環境、がある。

これらの非言語情報は、言語情報だけでは示せないさまざまな意図を伝え、相手の真意をより深く理解する手助けをしてくれる。

遠方とのコミュニケーションは、テキスト情報のやりとり(手紙、電信、SNS)から音声(電話、ボイスチャット)やビデオによる通話へと、非言語情報を積み重ねて伝える方向に発展してきた。ただ、非言語情報は言語情報に比べてデジタル化が困難なため、多くのニュアンスが欠落する。コロナ禍で一般化したビデオ通話が対面に比べ物足りないと感じる人が多いのは、このためである。

しかし近年では、技術の進展により、多様な非言語情報のデジタル化が可能になりつつある。これにより、コミュニケーションの在り方が大きく変わろうとしている。

非言語情報をデジタル化する意義

デジタル化の利点は、コンピューターを介してさまざまな情報処理が可能になることにある。デジタル化により、取り扱う情報の正確性、再現性、保存性が大きく改善される。また、各種の圧縮技術を活用することにより、膨大な情報でも手軽にやりとりできるのも利点である。

このような特徴は遠方に正確な情報を伝送し再生するために都合がよい。電子メールやSNS、ビデオ通話、携帯電話などは言語情報のデジタル化なくしてはありえないサービスである。

メリットはそれだけではない。デジタル化が先行した言語情報(テキスト情報)をめぐっては、自然言語処理が急速に進展し、大規模言語モデル(LLM※1)の社会浸透が加速している。

この急速な普及には、生成AIの回答レベルが実用に足る水準に至ったことに加え、日常で使われる自然言語により簡単に操作できるようになった点が大きく寄与している。これらの機能も、デジタル化された膨大なテキスト情報の存在なくしては実現できなかったものである。

例えばAIモデルには、データセットやモデルのサイズ、そして訓練のための計算量を増やせば、誤差が小さくなる特性がある※2。2022年末から急速に世界に広がった生成AIの「ChatGPT」は約4,000億語、その最新版に当たるGPT-4は1兆語を優に超えるデータセットによって、それぞれ訓練されたといわれている※3

一方、非言語情報の場合、データとして取得するべき対象が何なのか必ずしも明確でない。さらに、取得に必要な時間やコストが非現実的なほど膨大な場合が多い。このためデジタル化が進まなかったが、近年は解析技術の進展に伴い、低コストでさまざまな非言語情報を取り扱えるようになりつつある。

デジタル化された非言語情報はこれまでのところ多くはないが、蓄積が進むにつれ、多様な非言語情報への応用が可能になると期待される。

実際に対面しているかのような遠隔通話

デジタル化された非言語情報の応用領域の一例として、テレプレゼンスシステムが挙げられる。さまざまなものが存在するが、ここでは、遠隔通話を、あたかも同じ場所にいるかのような臨場感で行うことができるシステムを指す。

従来のテレビ会議システムとは違って、身ぶり手ぶりや視線などにより非言語情報を適切に伝えることができるため、対面により近い遠隔対話が可能になると期待されている。萌芽事例として、Googleが開発中のProject Starline※4を紹介する。
[図1] 従来のビデオ会議と比較したProject Starlineの感想
[図1] 従来のビデオ会議と比較したProject Starlineの感想
出所:Jason Lawrenceら(2021年12月10日)"Project Starline: A high-fidelity telepresence system"より
図1はProject Starlineの体験者約300人を対象としたアンケート結果の一部である※5。従来のビデオ会議システムから、「存在感」「注意」「身ぶり手ぶり」「個人的つながり」の点でどう変わったかを、主観評価として尋ねた。いずれの項目でも体験者の半数以上が、ビデオ会議よりも「ずっと良い」と回答した。「わずかに良い」との回答を加えると、大半が評価するかたちとなった。

この調査では、体験者の無意識の動作について分析も行われた。ハンドジェスチャーやうなずき、眉の動きなどが従来のテレビ会議よりも目に見えて増加し、実際に対面しているときと同等の頻度になっていることが確認されている。

Project Starlineでは、多数のセンサー群が捉えた映像データを高速処理して、リアルタイムで写実的な等身大の人体モデルを生成する。さらに、立体感の出し方において、物体が光をどう反射するのかを正確に再現することにより、裸眼でどの方向から見ても自然な3D映像を認識できる「ライトフィールド・ディスプレー」を使う。
 
2021年の公開以降、実用化に向けた開発が進んでいる。2022年10月からは早期アクセスプログラムとして、米国内の一部企業の間で、試験的に活用されている。

Project Starlineほどのシステム構成ではなくても、視線を相互に合わせて等身大での対話ができるようなテレプレゼンスシステムが実現すれば、実際に対面している状態に近い情緒的な遠隔コミュニケーションが可能になり、意思疎通がより円滑になると期待される。

コミュニケーションは「強化」と「拡張」へ

言語/非言語情報のデジタル化によって期待できることは、情緒的な遠隔コミュニケーションの実現だけではない。コミュニケーションの「強化」と「拡張」が進むと期待される(図2)。
[図2] 言語/非言語情報のデジタル化によるコミュニケーション変革への期待
[図2] 言語/非言語情報のデジタル化によるコミュニケーション変革への期待
出所:三菱総合研究所
ここで言う「強化」は、「人と人」のコミュニケーションが密接になるという意味である。例えば、言語の壁は同時通訳アプリやパーソナルアシスタントを使うことで大幅に低くなるだろう。

また、アバターによる適度な抽象化によって、人種や年代の違いなど、円滑なコミュニケーションを阻害するさまざまな要素が緩和される。声色や表情から感情を推定するAIなどを併用すれば、相手の心理状態を科学的に察した上での対話も可能になる。

アバター特有の緩やかな匿名性も、本音ベースでの会話を通じてコミュニケーションを強化する重要な要素である。実際に、心理カウンセリングや一部の接客などでは、スタッフ本人ではなくアバターが対応することでコミュニケーションが活性化した事例が報告されている。

このように、非言語情報によりコミュニケーションが「強化」されることで、社会的孤立の抑制や各種差別の緩和、新しいコミュニティの形成などが進むと期待される。

一方、「拡張」は、人とAIなどの機械や、人と環境(身の回りの事象に付随するさまざまな情報)とのやりとりが、「人と人」で慣れ親しんだ方法で実現可能になるという意味である。

すでに自然言語によるテキストベースでのAIとのやりとりは実現されているが、ボイス・コンピューティングがさらに高度化すれば、曖昧な表現をしたとしても、AIや機械が適切な応答を返せるようになるだろう。表情や身ぶり手ぶりなどのジェスチャーによってAIに意思を伝え操作することが可能となるため、利用者が複雑な手順を覚える必要はなくなる。

また、利用者自身が一切指示しなくても行動内容に即して、AIや身の回りにある機器などが周囲の環境を適切な状態に保つこともできるようになると期待される。作業に集中しているときやリラックスしているとき、就寝前など、生活におけるさまざまな状態に適した環境が、自律的に作り出されるような応用が考えられる。

コミュニケーションの「拡張」により、ICTスキルの高さや低さによらず、誰でもデジタル技術の恩恵を受けることが可能になり、情報格差が縮小すると期待される。

本稿では人間社会に不可欠なコミュニケーションが、言語/非言語情報のデジタル化によって将来どのように変わるかを概観した。

特集2「生体情報のデジタル化とコミュニケーション」では、非言語情報のデジタル化による効用の一例として、人の生体情報のうち、心理情報を科学的に推定することが可能になりつつあることなどを示した。

生体情報は従来、人の健康状態を把握するために用いるのが一般的だった。しかし、生理情報や行動情報の分析が進化して心理情報も把握可能になり、非言語コミュニケーションと組み合わせることができれば、社会の在り方も大きく変わっていくことになる。

特集3「デジタルが行動変容を加速させる」では、行動変容がなかなか進まない理由について、「手段」と「内容」にまつわる2つの技術の面から分析した。その上で、行動促進技術とデジタル技術の融合を通じて個別対象の特性に合わせた非言語コミュニケーションが低コストで実現し、心理情報も科学的に推定可能になれば、行動変容を加速させられるとの考察を示した。

ただ、こうした技術は悪用された場合、被害や新たなリスクを招き、「もろ刃の剣」となりえる点も指摘している。


言語/非言語情報のデジタル化により、さまざまな生活シーンでコミュニケーションの変革がもたらされる。当社はさまざまな顧客との共創によりこの変革の一翼を担い、さらに豊かなコミュニティ形成に寄与していきたい。

※1:Large Language Modelの略。AIの一種であり、言語情報の生成に特化している。

※2:Tom Henighanら(2020年1月23日)"Scaling Laws for Neural Language Models", arXiv:2001.08361v1[cs.LG].

※3:Andrei Kucharavyら(2023年3月21日)"Fundamentals of Generative Large Language Models and Perspectives in Cyber-Defense", arXiv:2303.12132v1[cs.CL].

※4:Googleのサイト(2023年5月10日)"A first look at Project Starline’s new, simpler prototype"より。

※5:Jason Lawrenceら(2021年12月10日)"Project Starline: A high-fidelity telepresence system", ACM Trans. Graph., Vol. 40, No. 6, Article 242.