AI導入の効果をどう測る？結論
主となる事業成果を一つ選び、品質とリスクのガードレールを置きます。AI利用前後で同じ単位の業務を比べ、人の確認時間や例外対応も費用に含めます。
NIST AI RMFでは、測定を一度きりの精度テストではなく、継続的なリスク管理の一部として位置づけています。事業評価でも、性能だけでなく管理策、監視、責任者を含めます。
偏りのない評価表を作る
最初の評価表で、業務が改善したか、制御できるか、使われるか、経済的に続けられるかを確認します。
| 観点 | KPI例 | よくある誤り |
|---|---|---|
| 事業成果 | 処理時間、解決率、有望案件数、成約率 | 成果につながらない利用回数だけを見る |
| 品質 | タスク合格率、重要な人手修正 | 重大な失敗を平均値で隠す |
| リスク | 根拠なし出力、個人情報、権限、確認漏れ | 成功した回答だけを数える |
| 定着 | 対象業務のうちAIで完了した割合 | ログイン数を定着とみなす |
| 費用 | モデル、連携、確認、保守、変更管理 | API費用だけを人件費と比べる |
記入例：人による確認時間を含めて試算する
次の数値は計算方法を示すための仮定であり、顧客実績や改善予測ではありません。AI利用後の7分には人による確認と修正を含めます。
人件費の金額換算は、支出の削減額とは異なります。浮いた時間を別業務へ振り向ける場合は、実際に増えた処理量や成果を別に測り、時間換算の便益と売上効果を重複して加算しません。
| 項目 | 仮定・計算 | 値 |
|---|---|---|
| 対象業務 | 月1,000件、現在12分／件、AI利用後7分／件 | 月5,000分の差 |
| 時間換算の便益 | 5,000分 ÷ 60 × 3,000円／時間 | 月250,000円 |
| 追加の継続費用 | モデル・基盤・保守など。人の確認時間は上の7分に含む | 月90,000円 |
| 継続費用控除後の便益 | 250,000円 − 90,000円 | 月160,000円 |
| 初期費用 | 開発・連携・導入準備の仮定 | 800,000円 |
| 初年度の差引便益 | 160,000円 × 12 − 800,000円 | 1,120,000円 |
| 単純回収期間 | 800,000円 ÷ 160,000円。便益が毎月一定の仮定 | 5か月 |
観測できる現状値からROIを計算する
比較期間と対象ケースを揃え、時間、処理量、誤り、売上などの観測可能な変化を便益として計算します。そこからモデル、基盤、開発、人による確認、保守、ガバナンスの費用を差し引きます。
代表的なPoC結果が出るまでは、仮定と観測値を分け、単一の精密な予測より幅を持った見積もりで判断します。