コラム

シンクタンクの着眼点最先端技術

フィジカルAIの安全を、ロボットの外側からも考える

ユースケースごとに外部支援機能を活用した「ソーシャルレジリエンス」を検討すべき

タグから探す

2026年11月17日

モビリティ・通信政策本部岩附 陽太

シンクタンクの着眼点
AIセーフティの重要性が高まる中、モデル単体の安全対策には限界がある。これはロボットにおいても同様である。モデルの性質上不確実性を一定程度内包してしまうフィジカルAIにおいては、どのようなユースケースであればどのような外部センサ等の安全支援機能・基盤を活用し、「ソーシャルレジリエンス」を担保できるのか、検討していくことが重要となる。

AIが賢ければ、それで安全なのか

ロボットが人にぶつからないためには、AIをもっと賢くすればよい。そう思うかもしれない。だが、介護ロボットが利用者を見落としたり、工場のロボットが重要な設備に接触したりしたとき、「AIは正しく判断するはずだった」では済まされない。問われるのは、AIの判断力だけでなく、誤判断を事故につなげない仕組みである。

AIの安全性を高める研究は進んでいるが、モデル内部の対策だけであらゆる危険を防ぐのは難しい。学習済みの重みを公開する「オープンウェイトモデル」は、研究や開発の可能性を広げる一方、公開後の利用を提供者が制御しにくく、安全上の制約が取り除かれる懸念もある※1。また、悪意ある改変だけでなく、予期しない誤判断も起こり得る。

英国政府の委託による国際的な科学的評価報告書である「International AI Safety Report 2026」は、技術的対策を補うものとして「ソーシャルレジリエンス」を重視しており、モデル単体ではなく社会全体の力で危険を防ぎ、被害を抑え、復旧し、次の危険に備えることを重視している※1。これは汎用AIを中心とした議論だが、AIの判断が現実の動作に直結する「フィジカルAI」にも重要な視点だ。

ロボットの外側にも、安全を支える仕組みを

例えば複数のロボットが行き交う倉庫で、各ロボットのカメラに加え、倉庫側のセンサが通路全体を見渡し、動きの調整や危険時の停止・警告ができれば、一台では把握しにくい危険を補える。産業技術総合研究所は、ロボットの管理と走行エリアの管理を分け、管理区域をまたぐ運行の仕組みを研究している※2。東京大学の「Common Ground」も、現実空間とデジタル情報をつなぐ共通の空間情報基盤を構想する※3。

航空分野に学ぶ「安全の重ね方」

「一つの機械だけに安全を任せない」発想は、航空分野で以前から重視され、航空機の安全は機体に加え、管制官、レーダー、空港設備などにも支えられている。ドローンでも、無人航空機運航管理システム(UTM)など、機体のみならず外部システムの対策を組み合わせる※4。また、航空システムの安全性評価では、外部環境に潜在するリスクや不安全事象に対し、安全の壁でどこまで低減できるかを考える事故・インシデントモデルを構築し、目標安全水準(TLOS)を確保できるか監査することが基本である※5。大切なのは、機械が失敗しないことを期待するのみならず、失敗しても事故につながらない仕組みを重ねることだ。

すべてのユースケースに共通する「正解」はない

もっとも、施設側の安全支援がどこでも使えるとは限らない。工場や倉庫ではセンサや共通の運行管理を整備しやすいが、農地や災害現場では難しい。屋内の一般施設ではセンサを設置できても、プライバシーへの配慮が欠かせない。同じ工場でも、人や設備の近くで働くロボットと無人区画を移動するロボットでは、求められる対策が異なる。

そこで、政府のAIロボティクス戦略が示す一部のユースケースを、「人・モノへの近接・接触リスク」と「外部安全支援基盤の利用可能性」の二軸で整理した(図表)※6。これは定量的な安全評価ではなく、対策の組合せを考えるためのイメージである。リスクが高ければ、より確かな安全機能が要求されるし、外部支援が使いやすければ、施設側が安全を担う余地が広がり、結果的にフィジカルAIのTLOSを達成しやすくなる。この図では、左上に行くにつれて、残存リスクが高くAIモデル等の外部支援機能以外に求められる安全要求水準の高さが高くなることを表している。
図表 フィジカルAIの各ユースケースにおける安全性担保の望ましいあり方(案)
フィジカルAIの各ユースケースにおける安全性担保の望ましいあり方(案)
三菱総合研究所作成

「賢いロボット」から「失敗しても安全な社会」へ

これから問われるのは、ロボットをどれだけ賢くできるかだけではない。「AIが失敗しても、事故にしない社会」をどうつくるかである。ロボット本体、施設管理者、運行管理者の間で、安全機能、費用、責任をどう分担するのか。航空分野で培われたリスク評価の知見を生かし、用途ごとに安全の仕組みを設計することが、フィジカルAIを社会に根づかせるひとつの鍵となる。

※1:Bengio, Y. et al., International AI Safety Report 2026, 2026. 特に§3.4(オープンウェイトモデル)および§3.5(Building societal resilience)。
https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026(閲覧日:2026年11月10日)

※2:産業技術総合研究所「自律移動モビリティに関するAIセーフティ」、およびRobot/Area分離型FMSに関する研究、2025~2026年
https://qai.pj.aist.go.jp/aisafety1/results/2025/2-5/index.html(閲覧日:2026年11月10日)

※3:東京大学生産技術研究所「Common Ground」
https://www.commonground.iis.u-tokyo.ac.jp/(閲覧日:2026年11月10日)

※4:European Union Aviation Safety Agency(EASA), Easy Access Rules for Unmanned Aircraft Systems, SORA 2.5.
https://www.easa.europa.eu/en/document-library/easy-access-rules/online-publications/easy-access-rules-unmanned-aircraft-systems(閲覧日:2026年11月10日)

※5:EUROCONTROL, Guidance to Applying the European Safety Reference Material (E-SRM), Guidance C: On Integrated Risk Model, 2024.
https://www.eurocontrol.int/sites/default/files/2024-07/eurocontrol-guidance-applying-e-src-ed1-1.pdf(閲覧日:2026年11月10日)

※6:政府「AIロボティクス戦略」および「各分野別のAIロボティクス実装ロードマップ」、2026年
https://www.cas.go.jp/jp/seisaku/ai_robo/index.html(閲覧日:2026年11月10日)