AI開発・生成AI導入の「検収」と合格基準の書き方｜評価データ・精度・期限の決め方

AI開発や生成AIの導入を外部に依頼するとき、見積もりや技術の話に比べて後回しにされがちなのが「検収」です。検収とは、納品された成果物が約束した条件を満たしているかを依頼側が確かめ、合格・不合格を決める手続きのことです。ここが曖昧なまま進めると、納品の段階で「期待と違う」「これで完成と言われても困る」という行き違いが起こり、支払いの時期も定まらなくなります。

この記事では、AIの案件で検収が難しい理由から始めて、合格基準の考え方、評価データの作り方、数値の基準を置くときの注意、検収期間と通知の決め方、再納品と支払期日までを順に解説します。最後に、業務別の合格基準のテンプレートを3つ載せました。依頼する側はもちろん、合格基準を提案する専門家の側にも役立つ内容です。

検収とは何か、なぜAIでは特に難しいのか

通常のシステム開発であれば、「この画面でこのボタンを押すと、この結果が表示される」というように、入力と出力の対応をあらかじめ決めておき、そのとおりに動くかを確かめれば検収できます。ところが生成AIを使った仕組みでは、同じ入力でも出力が毎回少しずつ変わります。また、出力の良し悪しは、与えるデータや業務の文脈に大きく左右されます。

そのため、「使ってみて良ければ合格」という進め方では、いつまでも合否が確定しません。担当者によって評価が分かれたり、たまたま出た悪い例を見て不合格にしたり、逆に深く確かめずに合格にして運用で困ったりします。AIの検収では、「何を使って、どう測り、どこまでなら合格か」を着手の前に決めておくことが、通常の開発以上に重要になります。

もう1つの難しさは、精度が評価データ次第で変わることです。きれいに整えた例文で測れば高い数値が出ても、実際の業務で入ってくる雑多な入力では下がる、ということがよくあります。検収に使うデータは、実際の業務に近いものを依頼側が用意する必要があります。

合格基準の3つの層：機能・品質・運用

合格基準（何ができていれば合格とするかを、着手の前に決めておく基準）は、3つの層に分けて書くと漏れが少なくなります。それぞれの層で「確かめる方法」まで書くのがポイントです。

• 機能の層：何を入力すると何が出るか。例として「問い合わせメールの本文を貼り付けると、宛名・回答・結びを含む返信の下書きが生成される」「社内規程のPDFを登録すると、質問に対して該当する箇条と出典のページ番号が表示される」など、動作を具体的に書きます。
• 品質の層：出力の良し悪しをどう測るか。評価データを使った正答率や、人が確かめたときの手直しの要否、応答にかかる時間、禁止している出力（個人情報の表示など）が出ないこと、などが入ります。
• 運用の層：業務で使い続けられる状態か。利用者向けの操作手順書があること、管理者がデータの追加・削除をできること、月ごとの利用量と費用を確認できること、エラー時の表示が決まっていること、などです。

小さな案件では3つの層すべてを詳しく書く必要はありませんが、「機能だけ」で終わらせると、動くけれども使えない、使えるけれども費用が見えない、といった状態になりがちです。各層から1つ以上は項目を置くことをおすすめします。

評価データ（テストセット）の作り方

品質の層を判定する土台になるのが評価データです。評価データとは、実際の業務で入ってくる入力と、それに対して期待する出力（または許容できる範囲）を組にして集めたものです。件数は案件によりますが、例として20〜50件程度あれば、傾向をつかみ、合否を話し合う材料になります。

1. 実際の入力を集める：過去の問い合わせ、実際の書類、社員が本当に聞きそうな質問など、業務から拾います。きれいな例だけでなく、長いもの・短いもの・情報が足りないものも混ぜます。
2. 期待する出力を書く：正解が1つに決まるもの（金額、日付、分類など）は正解を書きます。文章のように正解が1つでないものは、「含むべき要素」「含んではいけない要素」「許容する長さ」のように範囲で書きます。
3. 採点の方法を決める：自動で照合できるのか、人が見て判断するのか。人が判断する場合は、判定する人と、判断の基準（手直しなしで使えるか、など）を決めます。
4. 着手前に共有する：評価データは着手前に専門家と共有し、途中で差し替えないことを約束します。途中で基準が変わると、専門家は何を目指せばよいか分からなくなります。追加したい場合は、次の段階の評価データとして扱います。

個人情報や機密を含む入力を評価データに使うときは、氏名や連絡先を仮のものに置き換える、評価データの保管場所と削除の時期を決める、といった扱いを契約で決めておきましょう。

数値の基準を置くときの注意

「正答率◯%以上で合格」のような数値の基準は、客観的に見えるぶん使いたくなりますが、置き方を誤ると争いの元になります。まず、数値は「どの評価データで、どう採点したときの値か」とセットでなければ意味を持ちません。評価データを変えれば数値も変わるからです。数値を書くときは、評価データの件数と採点方法を同じ文書に書いておきます。

次に、数値を達成できなかったときの扱いを決めておきます。あと一歩で届かなかった場合に、不合格として対価をゼロにするのか、修補と再納品の機会を設けるのか、基準を見直して再合意するのか。この取り決めがないと、専門家は数値に届かないリスクを恐れて受けられず、依頼側は「達成できなかったのに払うのか」と感じることになります。修補と再納品の期限を決めておくのが一般的です。

もう1つ大切なのが、要件整理の段階では数値の達成を合格基準にしない、ということです。要件整理の成果物は要件書（文書）であり、そこに書かれる効果の見込みの数値は、実装の前に立てた見込みです。要件整理の合格基準は「必須の項目がそろった要件書が納品されること」とし、数値の達成は実装の合格基準として、評価データとともに置くのが筋道です。見込みと実績を混ぜると、要件書の検収で「まだ効果が出ていない」という的外れな不合格が起こります。

検収期間・通知・みなし合格の決め方

合格基準が決まったら、検収の手続きを決めます。まず検収期間です。納品の通知を受けた翌日を起点に、何日以内に合否を通知するかを日数で明記します。評価データの件数と、社内で確認できる人の都合から、現実的な日数を置きます。例として、数日では短すぎ、1か月では長すぎることが多く、1〜2週間程度に落ち着くケースが多いようです。

次に通知の形式です。合格はひと言で足りますが、不合格は「満たしていない合格基準の項目」を文書で示すことを条件にします。「なんとなく違う」という不合格は認めない、ということです。これにより、専門家はどこを直せばよいかが分かり、依頼側も社内で判断の根拠を説明できます。

最後に、期限内に通知がなかった場合の扱いです。多くの契約では「期限内に合否の通知がなければ合格とみなす」（みなし検収）という条項を置きます。これは、納品されたものが放置されて専門家の支払いが先延ばしにならないための取り決めです。ただし、この条項には「納品の通知と期限のお知らせが依頼側に届いていること」という前提があります。通知が届いていないのに自動で合格にするのは不当なので、期限の前にお知らせを送る仕組みと、届いたことを確認できない場合は保留にする扱いを、あわせて決めておくのが安全です。

再納品（修補）と支払期日、本体の引き渡し

不合格の通知を受けた専門家は、示された項目を直して再納品します。この再納品の期限（例として通知から14日以内）を決めておくと、修補が長引いて案件が宙に浮く状態を防げます。再納品のあとは、改めて検収期間が始まり、同じ手続きで合否を決めます。

支払期日は、検収合格を起点に決めます。例として「検収合格から14日以内」のように日数で書きます。あわせて「最初の納品から◯日以内」という上限を置くと、再納品が繰り返されても支払いが際限なく先延ばしにならず、専門家の側も安心して受けられます。請求書を誰が発行し、銀行振込とカード払いのどちらに対応するか、振込手数料は誰が負担するかも、ここで決めておきます。

検収合格後払いの仕組みで依頼側・専門家側の双方が気にするのが、「合格前に成果物を渡してよいか」です。本体（ソースコード、設定ファイル、プロンプトなど）は検収合格後に引き渡し、検収期間中の試験はデモ環境や画面共有で行う、という形にすれば、依頼側は合格基準の項目を確かめられ、専門家側は支払い前に成果物が使われる心配をせずに済みます。検収前の成果物は試験以外に使わない、という約束も文書に残しておきましょう。

合格基準のテンプレート：業務別の3例

ここまでの内容を、業務別の合格基準の例にまとめます。いずれも実在の案件ではなく、書き方の見本です。件数や日数は自社の状況に合わせて調整してください。

例1：問い合わせメールの返信の下書き生成

• 成果物：問い合わせメールの本文を入力すると、宛名・回答・結びを含む返信の下書きを生成する仕組みと、利用者向けの操作手順書
• 評価データ：過去の問い合わせから選んだ30件（個人情報は仮のものに置き換え）と、各件について「含むべき回答の要素」「含んではいけない表現」
• 合格条件：30件すべてで下書きが生成されること。担当者が確認し、手直しなし、または軽微な手直しで送れる件数が合意した件数以上であること。禁止表現が含まれる件が0件であること
• 検収期間：納品の通知の翌日から10日。不合格のときは満たしていない項目を文書で通知し、再納品は通知から14日以内

例2：社内文書の検索・質問応答（RAG）

• 成果物：指定した社内規程・マニュアル（例として50ファイル）を登録し、質問に対して回答と出典（文書名・該当箇所）を表示する仕組みと、文書の追加・削除の手順書
• 評価データ：社員から集めた質問40件と、それぞれの正解となる文書の該当箇所
• 合格条件：40件のうち、出典として正しい該当箇所が示される件数が合意した件数以上であること。登録していない内容を質問したとき、「該当なし」と表示し、作り話をしないこと（確認用の質問10件で確かめる）。管理者が手順書に沿って文書を追加・削除できること
• 検収期間：納品の通知の翌日から14日。再納品は通知から14日以内

例3：書類（請求書・注文書）の読み取り

• 成果物：書類の画像またはPDFを入力すると、取引先名・日付・金額・品目を抽出して表形式で出力する仕組みと、読み取れなかった項目を人が確かめる画面
• 評価データ：実際の書類50枚（取引先名などは仮のものに置き換え）と、各枚の正解の値
• 合格条件：金額と日付について、正解と一致する枚数が合意した枚数以上であること。読み取れなかった項目は空欄のまま「要確認」と表示し、誤った値を埋めないこと。1枚あたりの処理時間が合意した秒数以内であること
• 検収期間：納品の通知の翌日から10日。再納品は通知から14日以内

まとめ

AIの検収が難しいのは、出力が揺れ、精度がデータ次第で変わるからです。だからこそ、「何を使って、どう測り、どこまでなら合格か」を着手の前に決め、評価データを共有し、検収期間・通知の形式・みなし合格・再納品・支払期日を文書にしておくことが、依頼側と専門家側の双方を守ります。

• 合格基準は機能・品質・運用の3層で、確かめる方法まで書く
• 評価データは実際の業務の入力から作り、着手前に共有して途中で差し替えない
• 数値の基準は評価データと採点方法をセットにし、達成できなかったときの扱いも決める
• 要件整理の合格基準は「必須項目がそろった要件書の納品」であり、数値の達成ではない
• 検収期間は日数で明記し、不合格は満たしていない項目を文書で示す。みなし合格は通知が届いていることが前提
• 再納品の期限と支払期日を決め、本体の引き渡しは検収合格後にする

AI顧問マッチでは、この形を標準にしています。AI×システム開発の相談とAI活用最適化プランでは、着手前に合格基準を文書で合意し、検収期間は3〜14日（標準10日）、不合格は満たしていない項目を示して通知し、14日以内に修補・再納品できます。支払期日は検収合格から14日以内かつ最初の納品から60日以内で、請求書は運営が発行します。詳しくは費用の考え方（料金と検収のガイド）をご覧ください。専門家の方は、合格基準を提案する側の進め方を専門家の方へで紹介しています。成果報酬で依頼する前の確認事項は、成果報酬でAI開発を依頼する前に確かめたい7つのことにまとめました。