結論
主となる事業成果を一つ選び、品質とリスクのガードレールを置きます。AI利用前後で同じ単位の業務を比べ、人の確認時間や例外対応も費用に含めます。
NIST AI RMFでは、測定を一度きりの精度テストではなく、継続的なリスク管理の一部として位置づけています。事業評価でも、性能だけでなく管理策、監視、責任者を含めます。
偏りのない評価表を作る
最初の評価表で、業務が改善したか、制御できるか、使われるか、経済的に続けられるかを確認します。
| 観点 | KPI例 | よくある誤り |
|---|---|---|
| 事業成果 | 処理時間、解決率、有望案件数、成約率 | 成果につながらない利用回数だけを見る |
| 品質 | タスク合格率、重要な人手修正 | 重大な失敗を平均値で隠す |
| リスク | 根拠なし出力、個人情報、権限、確認漏れ | 成功した回答だけを数える |
| 定着 | 対象業務のうちAIで完了した割合 | ログイン数を定着とみなす |
| 費用 | モデル、連携、確認、保守、変更管理 | API費用だけを人件費と比べる |
観測できる現状値からROIを計算する
比較期間と対象ケースを揃え、時間、処理量、誤り、売上などの観測可能な変化を便益として計算します。そこからモデル、基盤、開発、人による確認、保守、ガバナンスの費用を差し引きます。
代表的なPoC結果が出るまでは、仮定と観測値を分け、単一の精密な予測より幅を持った見積もりで判断します。