ブログ
公開日
社内AI検索の精度はどう確認する？質問例と回答チェック表で小さく試す方法
「社内資料をAIで探せるようにした。でも、この回答を使ってよいか判断できない」
「自然な文章で答えてくれるけれど、必要な資料を正しく参照しているのだろうか」
社内AI検索を試すときは、回答の読みやすさだけで評価しないことが大切です。
関係する資料を見つけたか、その資料に沿って回答したか、質問へ必要十分に答えたかを分けて確認します。
期待する回答と根拠を先に決め、質問の条件を変えて試し、実際の結果を記録する。
そこから、直すべき場所が見えてきます。
この記事では、納期変更の対応履歴を架空の例に、テスト質問と回答チェック表の作り方を紹介します。
特定製品の操作ではなく、一つの業務で小さく確かめるための進め方です。
「資料が見つかった」と「正しく答えた」を分ける
資料を検索し、その内容から回答候補を作る仕組みでは、少なくとも二つの段階を見ます。
一つは、質問に必要な資料が検索で得られたか。もう一つは、その資料を使って適切な回答を作れたかです。
正しい資料が見つかっていても、提案段階の内容を決定事項として答えることがあります。
反対に、文章はもっともらしくても、条件の違う事例しか参照していない場合もあります。
Microsoftの公式資料でも、検索の品質と、回答が参照内容に基づいているかなどの評価を分けています。
本記事では、その考え方を小規模な手作業の確認へ落とし込みます。Microsoft Learn：RAGの評価
前回の対応履歴の残し方では、条件や判断理由を記録する方法を紹介しました。
今回は、その記録を検索して使うときの検証に絞ります。
1．期待する回答と、根拠資料を先に用意する
AIの回答を見てから「これでよさそう」と決めると、抜けや誤りを見落としやすくなります。
質問ごとに、期待する内容と根拠を先に残してください。
ここで必要なのは、一字一句同じ正解文ではありません。
必ず含めたい事実、書いてはいけない断定、確認が必要な条件を決めます。
| 項目 | 決めること |
|---|---|
| 質問 | 実際の利用者が尋ねそうな内容 |
| 利用者と対象範囲 | 誰が、どの資料を参照できる条件で試すか |
| 根拠資料 | 資料名・ID・版・該当箇所 |
| 期待する回答 | 含める事実、必要な条件、相談先など |
| 許容しない回答 | 根拠のない決定、別案件の条件の混同など |
| 判定する人 | 業務の内容と資料を確認できる担当者 |
根拠資料そのものが曖昧なら、先に業務担当へ確認します。
未確定の資料を基準にして、回答だけを正しい・間違いと判断しないようにしましょう。
2．質問の言い方と条件を変えて試す
資料の見出しと同じ言葉で聞いたときだけ、答えが見つかるとは限りません。
利用者は、略語、別の言い方、短い質問で探すことがあります。
最初は通常の質問に加えて、次の種類を用意します。
- 同じ意味を別の言葉で尋ねる質問
- 似ているが、対象や条件が違う質問
- 情報が足りず、追加確認が必要な質問
- 資料に答えがない質問
- 旧版と現行版を取り違えやすい質問
答えがない質問で、不明と伝えたり、追加の確認や相談先を案内したりできることも重要です。
すべての質問に結論を出すことを成功としないでください。
納期変更の履歴を使った架空のテスト例
以下は実在する案件ではありません。
テスト用の資料として「案件Aでは分割納品を提案し、相手の返答待ち。
最終日程は未確定」と記録されている設定です。
| 種類 | 質問例 | 期待する扱い |
|---|---|---|
| 通常 | 案件Aの納期変更には、どう対応した？ | 分割納品を提案した事実と、返答待ち・日程未確定を示す |
| 別表現 | 案件Aは、必要な部分だけ先に渡す話になった？ | 同じ資料を参照し、提案と合意を分ける |
| 条件違い | 案件Bも、同じ日程で分割納品できる？ | 案件Aを案件Bの承認根拠にせず、今回の条件確認を案内する |
| 情報不足 | あの納期変更は決まった？ | 対象案件が特定できなければ確認を求める |
| 答えなし | 案件Aの最終納品日はいつ？ | 試行対象資料では未確定と伝え、日付を作らない |
これは期待結果の例で、実際のAI環境を動かして確認した結果ではありません。
自社で試す際は、実際に返ってきた資料と回答を別の欄へ記録します。
3．検索結果と生成された回答を別々に確認する
テストでは、返ってきた回答に加えて、検索された資料や、回答に渡された内容を可能な範囲で記録します。
検索の確認
必要な資料が得られたか、対象案件・版・条件が合っているかを見ます。
同じ資料でも、回答に必要な箇所が取得されていなければ、十分な根拠がそろったとは扱いません。
また、対象の資料が登録されているか、検索の対象に含まれているかも確認します。
資料が存在しない問題と、存在するのに見つからない問題は、直す場所が異なります。
回答の確認
必要な資料が得られている場合は、その内容から外れた断定がないかを見ます。
提案を合意として書いていないか、日付や条件を補っていないか、
質問への答えが抜けていないかを照合してください。
根拠のリンクが付いているだけで、本文の主張が正しいとは限りません。
リンク先の該当箇所が、その主張を実際に支えているかを確認します。
検索結果や内部の処理過程を確認できない環境では、表示された回答と参照元の範囲で評価します。
見えていない段階まで正常だったと推測せず、原因の切り分けに限界があることを記録してください。
回答チェック表
一つの質問について、次の項目を記録できます。
| 確認項目 | 結果・根拠・修正すること |
|---|---|
| 必要な資料や該当箇所が検索されたか | |
| 案件・対象業務・版が合っているか | |
| 必要な事実や条件が回答に含まれているか | |
| 回答の主張を参照元で確認できるか | |
| 提案・決定・未確認・未完了を区別したか | |
| 別案件や対象外の条件を混ぜていないか | |
| 根拠のない日付・理由・結論を追加していないか | |
| 不明な場合に、不明や追加確認を案内できたか | |
| 閲覧範囲と更新状況に問題がないか |
判定は「条件を満たす」「要修正」「未確認」「対象外」などに分けます。
空欄を合格と扱わず、何を確認できたかを残してください。
4．旧版と閲覧権限は、別に確かめる
回答の言葉が正しくても、古い規程や閲覧できない資料に基づいていれば、実務で使えるとは判断できません。
旧版の履歴を探したい質問と、現在の手順を知りたい質問も分けます。
「現在の方法」を聞いたときに旧版を現行の案内として答えないかを確かめてください。
更新・削除・権限変更の後、検索対象へ変更が反映されたかも確認します。
元のファイルを変えただけでは、検索用に登録された情報へ即座に反映されるとは限りません。
閲覧制限は「答えに出さないで」という指示だけに頼りません。
検索対象や利用者の権限に制限が適用される構成を選び、権限の違うテスト用アカウントで確認します。
確認用の資料には架空の情報を使い、対象外の内容、文書名、抜粋、参照先が出ないかを見ます。
回答本文に出なくても、検索結果や参照表示で見えてしまわないかを確かめてください。
こうした問題は、ほかの質問の回答が良かったからといって相殺しません。
必要な利用条件を満たしていない場合は、その範囲の利用を止め、構成と運用を見直します。
テスト質問の記入式テンプレート
| 項目 | 記入欄 |
|---|---|
| テストID・質問の種類 | |
| 質問文 | |
| 利用者・権限・対象業務 | |
| 期待する回答の要点 | |
| 許容しない回答 | |
| 根拠資料・ID・版・該当箇所 | |
| 実行日時・利用環境・設定の識別情報 | |
| 実際の検索結果・取得内容 | |
| 実際の回答・参照元 | |
| 判定・問題の内容・確認者 | |
| 原因の候補・修正内容 | |
| 再試行の結果・残った課題 |
期待結果と実行結果は分けてください。まだ動かしていないテストは「未実行」と記録します。
設定の記録にパスワードやAPIキーなどを含める必要はありません。
5．問題を記録し、修正後にもう一度試す
回答が違った場合は、すぐに指示文だけを書き換えるのではなく、どこで問題が起きたかを確認します。
| 見つかった問題 | 最初に確認する場所 |
|---|---|
| 必要な資料が登録されていない | 対象資料・登録範囲 |
| 資料はあるが、必要な箇所が得られない | 資料の構造・検索対象・検索設定 |
| 正しい資料は得たが、回答が違う | 渡された内容・回答条件・指示の曖昧さ |
| 資料同士の説明が矛盾する | 根拠資料の管理担当・現行版の定義 |
| 別の利用者に対象外の資料が見える | 権限設定・検索範囲・参照表示 |
原因が確認できない場合は、候補と確定した原因を分けて残します。
修正したら、問題が起きた質問をもう一度試します。あわせて、
それまで期待どおりだった関連質問も再確認してください。
一つを直した結果、別の条件で回答がずれる可能性があるためです。
同じ質問でも回答が変わる場合があるので、一回うまくいっただけで安定したとは判断しません。
重要な質問は複数回確認し、回数と結果を残します。少数のテストで、
あらゆる質問の正しさを保証できるわけでもありません。
資料や設定を変える前後で記録を分けると、何を変えてどの結果が変わったかを比べやすくなります。
点数だけでなく、どの条件で使えるかを決める
結果を集計する場合は、何件中の何件が基準を満たしたか、どの質問群を対象にしたかを示します。
未実行・未確認を成功へ含めないようにします。
ただし、平均的な点数だけで利用を判断しないでください。
権限外の情報が出る、未確定の約束を確定として答えるなど、業務上許容できない問題は別に確認します。
必要な条件を満たせた範囲から試し、利用者が人へ確認する場所、答えがない場合の相談先、
問題発生時に止める方法を決めます。
通常運用に入った後も、見つからなかった質問や回答のずれを集め、次のテストへ追加してください。
まず、一つの資料と質問の組から始める
社内AI検索の評価では、根拠資料と期待する回答を先に用意し、検索結果と回答を分けて確認することが大切です。
通常の質問だけでなく、別表現、条件違い、答えのない質問、旧版、閲覧権限も試します。
問題を直した後は、同じ質問と関連する質問を再確認しましょう。
今日の最初の一歩は、確認済みの資料を一つ選び、
「答えられる質問」と「その資料だけでは答えられない質問」を一つずつ書くことです。
株式会社REPRESENTでは、社内情報の整理から、
検索・AI環境、質問例や確認項目、利用ルール、運用後の改善まで支援しています。
「社内AI検索を試したいけれど、何を確認すればよいか分からない」。
対象の業務と、参照したい資料をお聞かせください。
