結論
PoCを作る前に判断基準を書きます。どの結果なら続行し、何が不足したら再設計し、どのリスクや費用が出たら停止するかを、関係者で合意しておきます。
NISTの生成AIプロファイルは、出力評価だけでなく、人による監督、監視、インシデント対応を含むライフサイクル全体のリスク管理を整理しています。PoCでも本番運用の条件を試す必要があります。
PoCで最低限そろえる証拠
毎回のテスト後に確認でき、運用上の失敗も見える評価表にします。
| 領域 | 指標例 | 判断すること |
|---|---|---|
| 事業価値 | 短縮時間、追加処理件数、商談化など | 実際の件数でも効果が残るか |
| 出力品質 | 代表タスクの合格率と修正内容 | 用途に必要な品質を満たすか |
| リスク | 根拠なし回答、権限逸脱、確認漏れ | 観測された失敗を制御できるか |
| 定着 | 対象業務での完了率と担当者の評価 | 実務の流れに組み込めるか |
| 経済性 | 一件当たり実行費と確認時間 | 運用規模でも費用が見合うか |
続行・再設計・停止のいずれかで終える
合意した基準を満たし、運用責任者が管理策を受け入れられる場合だけ続行します。価値は見込めるが業務、データ、確認方法に課題があるなら再設計します。価値、リスク、運用責任のいずれも成立しないなら停止します。
成功例だけでなく、成立しなかった仮説も記録します。見栄えのよいデモだけで実装判断をしないための材料になります。