第6回 「PoC疲れ」には効果起点のAI評価が効く

一つ目は、人間の判断を必要とする作業をAIで代替するケースだ。ポイントは、AIの誤判定を許容できる割合を設定し、その範囲内で業務の何%がAIで代替できるかを評価することだ。

機械学習を利用したAIの場合、「この画像は90%の確率で車が映っている」「病気の確率が70%である」など確率によって判定するものが多く、0%か100%かを確実に見分けることは難しい。そこで、AIの誤り率（＝判定間違いした数／自動判定した数）に対して目標値（目標誤り率）を設定し、目標値の範囲内でAIを運用したときの導入効果を試算する。

例えば画像認識を用いて不良品を自動検出する例を考える（図1）。AIは製品が不良品である確率を計算し、その確率が一定以上なら不良品、一定以下なら正常品と判定する。ここで、図1の下のA～Cのグラフは目標誤り率を変えたときに自動判定できる割合の変化を示している。誤判定を避けるために目標誤り率が0%となるようにしきい値を決定すると、全体の約3割しか自動化できない。しかし、誤判定を許容すれば自動化できる割合はB、Cのように増加する。

また、出荷後に不良品と判明するとリスクが大きいので、正常品判定の目標誤り率を小さくし、逆に不良品判定の目標誤り率は大きくする、など対象によって目標誤り率を使い分けることも重要だ。

二つ目は、AIで業務の平準化を行い、属人化を解消したいというケースだ。人材採用やローンの審査のような、人によって判断の根拠や評価にばらつきがある業務は、AI導入によって評価基準の統一化・平準化ができる可能性がある。このときのポイントは、現状の人のばらつきを計測し、AIが平均的な人を上回れるかを評価することだ。

評価手順を図2に示す。ステップ1では複数人で判定を行い、多数決を取ることで平準化された結果を求め、一致率を計算する。一致率が低い作業者が存在する場合は、業務のばらつきが大きいと言え、AIによる平準化が必要と判断できる。

ステップ2ではAIモデルを構築し、平準化の実現可能性を評価する。AIの一致率が作業者の平均を上回る結果となれば、AI導入によって平準化が可能と判断できる。

この評価を行うことで、一致率の低い人に対して属人化を改善するように指導することもできる。加えて、一致率が低い人のデータを除いて再学習することで、AIの精度の改善を行うことも可能となる。

三つ目は、AI導入で業務フローが大幅に変わるため、導入後の影響が予測しにくいケースだ。ポイントは、AIをいきなり開発せずに、AI無しで事前評価を行い、実現困難なことがわかったら早々に諦めることだ。ハリボテAI（AIの動きを人間が模擬）で実現できるか、またその際に効果が得られるかを事前評価することで、不要な開発コストを抑えることができる。

例えば、チャットボットを導入し、顧客対応や社内問い合わせに答えるシステムを作りたいならば、まずは人間が裏でチャットボットの代わりに回答を行い、期待する効果が得られるかを判定する。OCR（光学的文字認識）とAIを組み合わせて帳票の入力負荷を下げたいのであれば、文字起こしを人間が行い、帳票の入力や結果の修正などの想定される一連の業務を実施することで、AI導入後の手間や削減時間を評価できる。

こうした事前評価の結果、人間でもうまくできない、もしくは人間がやっても期待される効果が得られないならば、無理やりAIを導入してもうまくいかないだろう。

今回説明した3つのケースがすべてのAI導入事例に当てはまるわけではない。しかし共通して言えることは、AIを何に使いたいのか、どんな効果を得たいかを明確にした上で、実務に利用可能かを評価することが重要ということだ。業務の特徴に合わせて事前評価やAIの精度評価を行い、実務で使えるAI導入に結び付けたい。