RAG の精度は、質問集で測る：テストの作り方、判定のしかた、合格ラインの決め方（精度テスト表・ツールつき）

社内の規程や手順書を AI に読ませて、社員の質問に答える仕組みができた。何問か試すと、ちゃんと答えてくれる。これなら使えそうだ。そうして全社に公開した翌週、「交際費の上限、AI に聞いたら古い金額でした」という連絡が来る。

社内の資料を読ませて答えさせる仕組み（RAG、検索拡張生成）は、作るだけなら難しくなくなりました。難しいのは、「使い始めてよいか」をどう決めるかです。何問か試して大丈夫そうだった、では、間違いの多い分野を見落とします。

この記事では、RAG の精度を、社員が実際に聞く質問を集めた「質問集」で測る方法をまとめます。

• RAG でも間違いがなくならない理由
• 質問集の作り方
• 答えの判定と、根拠の確かめ方
• 集計と、合格ラインの決め方
• 資料を直して、測り直す

RAG に入れる資料の整え方は「RAG に入れる資料の分け方」で、RAG を作る前に決めること（誰が何を聞くか、全文検索との違い）は「「社内の資料が探せない」を減らすナレッジ検索」で書きました。この記事は、作った後の確かめ方に絞ります。

RAG でも、間違いはなくならない

RAG は、質問に関係する社内の資料を探し、その資料をもとに AI が答える仕組みです。AI が知らない社内の決まりにも答えられるうえ、根拠の資料を示せるので、何も読ませずに答えさせるより間違いは減ります。それでも、間違いはなくなりません。

研究でも、そのことが示されています。米国スタンフォード大学の研究者らが2024年5月に公表した研究（Magesh ほか）では、資料を検索して答える仕組みを使った法律調査の AI 製品でも、17〜33%の割合で事実と違う答えが出ていました。Meta などの研究者による評価（CRAG、2024年6月）では、当時の業界の先端の RAG でも、間違いを含まずに答えられたのは63%でした。どちらも2024年初めの製品や技術での結果で、今の AI はもっと良くなっています。ただ、資料をもとに答える仕組みでも間違いが残る、という点は変わりません。

なぜ間違うのか。理由は大きく3つです。

1. 関係する資料を見つけられない：質問の言い方と資料の言葉が違う、資料が画像で読めない、など
2. 見つけた資料が古い・間違っている：古い版や重複した資料を根拠にしてしまう
3. 資料を正しく使えない：例外を落とす、複数の資料を混ぜて答える、資料にないことを付け足す

デジタル庁の「テキスト生成AI利活用におけるリスクへの対策ガイドブック（α版）」（2024年）も、RAG の評価を、関係する文章を取り出せているか、出力が取り出した文章の中に含まれているか、最終的な答えの品質、の3つに分けて考えることを示しています。

どこで間違うかは、仕組みを作っただけでは分かりません。RAG の失敗のしかたを整理した研究（Barnett ほか、2024年1月）は、RAG がうまく動くかは、実際に運用してみないと確かめられないと書いています。だから、社員が実際に聞く質問で、使い始める前に測ります。

測る前に、合格ラインを決める

質問集を作る前に、何%なら使い始めるかを決めておきます。測った後に決めると、結果に合わせて甘いラインを引いてしまいます。

決めるのは2つです。

ポイントは、正答率だけでなく、誤答の上限を別に置くことです。「答えなかった」は、社員が別の方法で調べ直すだけで済みます。「誤り」は、社員が間違った答えを信じて手続きを進めてしまいます。同じ「正しくない」でも、影響がまったく違います。

デジタル庁の令和5年度の技術検証の報告書（2024年5月）も、回答の精度だけを評価する意味は限られていて、必要な精度は使い方ごとに決めるべきだとしています。社内の手続きの案内と、お客様への回答の下書きとでは、許される間違いの量が違います。お金、契約、安全、人事にかかわる分野ほど、ラインを厳しくします。

デジタル庁の「生成AIの調達・利活用に係るガイドライン（DS-920）」（2026年6月改定）の調達のチェックシートにも、RAG を使う場合は、求める水準を満たす検索の精度を確保することが挙がっています。外部の会社に作ってもらう場合は、この合格ラインと質問集を、受け入れの条件として共有しておくと、話が早くなります。

質問集の作り方

社員が実際に聞いた質問から集める

質問集の質問は、作る人が考えた質問ではなく、社員が実際に聞いた質問から集めます。作る人が考えた質問は、資料の言葉に近くなり、AI が答えやすい質問に偏ります。

集める先は、次のようなところです。

• 総務や情報システムへの問い合わせのメールやチャット
• 社内のよくある質問のページに寄せられた質問
• 新しく入った人が最初の1か月に聞いたこと

問い合わせを記録していれば、そのまま使えます。記録のつけ方は「社内の問い合わせが減らない理由」で書きました。言い方は、社員が書いたとおりに残します。「交通費っていつまでに出せばいいですか」のような話し言葉も、そのまま質問にします。

3つの種類の質問を混ぜる

デジタル庁の技術検証では、テストの質問を作るときの観点として、資料に答えがない質問を混ぜ、「わからない」と答えられるかを確かめています。検証の一つでは、30問を、資料に答えがある質問10問、関係ない質問10問、関連はあるが資料に答えがない質問10問に分けていました。

社内の RAG でも、次の3種類を混ぜます。

全体の7〜8割を「資料に答えがある質問」にし、残りを答えがない質問と関係ない質問にします。答えがない質問で、もっともらしい答えを作ってしまうかどうかは、使い始めてから一番困る間違いにつながるので、必ず入れます。

分類ごとに5問以上

質問には、分類（経費・勤怠・パソコン・規程など）を付けます。分類ごとに精度が大きく違うことがよくあるからです。経費はよく答えるのに、パソコンの困りごとはほとんど答えられない、といった違いは、全体の正答率だけを見ていると見落とします。分類ごとに5問以上あると、傾向が見えます。

同じことを、言い方を変えて聞く

大事な質問は、言い方を変えてもう1問入れておきます。「交通費は何日以内に精算する？」と「通勤以外の電車代、いつまでに申請すればいい？」は、同じ答えを期待する質問です。片方には答えて、もう片方には答えないなら、資料の言葉と社員の言葉がずれています。資料の中に、社員がよく使う言い方を書き足すと直ることがあります。

期待する答えと、根拠の資料を先に書く

質問ごとに、期待する答えの要点と、根拠の資料を、AI に聞く前に書いておきます。答えを見てから正解を決めると、AI の答えに引きずられます。根拠の資料は、資料名と、その中のどこか（章や項目）まで書くと、判定が楽になります。

答えの判定と、根拠の確かめ方

AI に質問を投げ、答えを次の4つで判定します。

資料に答えがない質問に「資料には書かれていない」と答えた場合は、「正しい」にします。期待する答えどおりだからです。反対に、資料に答えがない質問に、もっともらしい答えを作った場合は「誤り」です。

あわせて、AI が示した根拠の資料が、期待する根拠と合っているかも確かめます。

答えが正しくても、根拠が違うことがあります。たまたま正しい答えになっただけで、別の質問では古い資料から答えるかもしれません。根拠がずれている質問の数も数えておきます。

デジタル庁の検証でも、引用した箇所が正しいか、回答が引用を正しく反映しているかを採点の基準にしていました。クラウドの各社も、RAG の評価の指標として、答えが根拠の資料に沿っているか（Microsoft の Groundedness、AWS の Faithfulness）、答えに抜けがないか（Completeness）、答えるのを避けたか（AWS の Refusal）といった項目を用意しています。AI セーフティ・インスティテュート（AISI）の「AIセーフティに関する評価観点ガイド」第1.20版（2026年7月）も、RAG に特有の評価の項目として、質問と検索した資料の関連、出力と検索した資料の一貫性を挙げ、検索の対象の資料と正解のデータ自体が事実に基づいているかにも注意するよう書いています。期待する答えを書くときは、根拠の資料が今も正しいかも、一緒に確かめておきます。仕組みに評価の機能があれば使えますが、最初は人の目で判定するのが確実です。

判定で迷う答えの例

判定の基準を決めていても、迷う答えは出てきます。よくある例と、判定の考え方です。

迷った答えは、判定の理由を表に書いておき、次からの判定の目安にします。判定する人が変わっても、同じ基準で判定できるようにするためです。

誰が判定するか

判定は、その分野の資料の持ち主（総務の担当者など）がします。資料の中身を知らない人が判定すると、もっともらしい間違いを見逃します。迷う答えは、2人で見て決めます。

AI の答えの要点と、判定の理由を、質問集の表に残しておきます。後で測り直したときに、どの質問がよくなり、どの質問が悪くなったかを比べられます。

集計と、判定のしかた

判定が終わったら、分類ごとと全体で、次の数字を出します。

• 正答率：「正しい」の数 ÷ 質問数
• 誤答率：「誤り」の数 ÷ 質問数
• 答えない率：「答えなかった」の数 ÷ 質問数
• 根拠のずれ：答えは正しい・一部正しいが、根拠が違う・出ていない数

そのうえで、次の順で判定します。

1. 誤答率が上限を超える → 誤答が多い。資料と検索の設定を見直す（まだ使わない）
2. 正答率が合格ライン以上 → 合格。限られた人で使い始め、質問を集め続ける
3. 答えない率が20%以上 → 答えられない質問が多い。足りない資料を足す
4. それ以外 → 正答が足りない。資料の形と分け方を見直す

架空の会社（従業員50名）の総務・人事の20問で測ると、次のようになりました（合格ライン80%、誤答の上限5%）。

全体だけを見ると、正答率70%・誤答率5%で「あと少し」に見えます。分類ごとに見ると、話がまったく違います。

• 経費は、正答率は83%と高いのに、接待の上限を古い金額で答える誤答が1問ありました。原因は、古いよくある質問のページが残っていたことです。正答率が高くても、誤答の上限を超えたので、まだ使いません。
• 勤怠は合格です。ただし、根拠が違う答えが1問あったので、使いながら様子を見ます。
• PC・システムは、答えなかった質問が多く、ソフトの申請やプリンタの困りごとの資料がそもそもありませんでした。資料を足す必要があります。
• 規程は、間違いはないものの、要点の欠けた答えがあり、根拠も示されませんでした。資料の書き方を見直します。

この会社なら、まず勤怠だけを使い始め、経費は古い資料を外してから測り直し、PC・システムは資料を作ってから足す、という順番になります。規程は、要点が欠けた答えの根拠を見て、例外の書き方や見出しの付け方を直してから測り直します。全部の分類がそろうのを待たずに、合格した分類から使い始めることで、社員が早く使えて、質問も早く集まります。

測る手間の見込み

1問ごとに、AI に聞き、答えと根拠を読み、判定して表に書くので、数分はかかります。20問なら、判定する人が半日弱を見込んでおくと安心です。質問集を作る時間（問い合わせの記録から質問を選び、期待する答えと根拠を書く時間）は、別に同じくらいかかります。

最初の質問集を作るのが一番手間がかかりますが、一度作れば、測り直すたびに使えます。測り直しは、前回の判定と比べるだけなので、だんだん早くなります。

資料を直して、測り直す

精度が足りない分類は、まず資料を疑います。古い版や重複を外す、足りない資料を作る、例外を本文のそばに書く。資料の直し方は「RAG に入れる資料の分け方」で書きました。

資料を直したら、同じ質問集で測り直します。同じ質問で測ることが大事です。質問を変えると、よくなったのが資料のおかげなのか、質問が易しくなったからなのか、分からなくなります。資料を直すと、狙った質問はよくなっても、別の質問が悪くなることもあります。分類ごとに前回と比べます。

測り直すのは、資料を直したときだけではありません。

• AI のサービスや、その設定（使うモデル、探し方）を変えたとき
• 新しい分類の資料を足したとき
• 規程の改定などで、資料の中身が大きく変わったとき

使い始めた後も、質問を集め続ける

合格した分類から使い始めたら、社員の質問と、間違いの報告を集め続けます。

• 社員が聞いた質問を記録しておき、月に1回、質問集に足す
• 答えの横に「間違っていた」と報告できる入口を作る
• 報告があったら、原因の資料を探して直し、その質問を質問集に足す

使い始めた後に集まる質問は、作る前には想像できなかった言い方や、資料の抜けを教えてくれます。質問集は、育てていくものです。

使い始めて最初の1か月は、答えに「間違っていた」の報告がどれだけ来るかも数えておきます。報告の数が少ないのは、間違いが少ないからとは限りません。社員が AI の答えを確かめずに使っているかもしれないからです。月に1回は、集まった質問の中から数問を選び、資料の持ち主が答えを確かめると、報告されない間違いにも気づけます。

外部の会社に作ってもらうときは、質問集を渡す

RAG を外部の会社に作ってもらう場合も、質問集と合格ラインは、発注する側で持っておきます。作る会社が用意したテストだけで受け入れると、作る会社が答えやすい質問で測ることになりがちです。

• 発注の段階で、「この質問集で、正答率80%以上・誤答5%以下を目安に受け入れる」のように伝える
• 質問集の一部は渡し、残りは受け入れのときに初めて使う（答えを覚えさせないため）
• 資料の整え方（どの資料を入れるか、見てよい人の分け方）を、どちらが受け持つかを決めておく
• 受け入れた後に資料を直したとき、誰が測り直すかを決めておく

合格ラインに届かなかったときに、資料の側を直すのか、仕組みの側を直すのかで、受け持つ会社が変わります。分類ごとの結果と、根拠のずれの数があれば、どちらに原因があるかを話し合いやすくなります。

よくある失敗

RAG の資料と精度テスト表

この記事の質問集と集計は、Excel の「RAG の資料と精度テスト表」でそのまま使えます。

• 質問集と判定：60問まで。分類・質問・期待する答え・根拠の資料・AI の答え・判定・根拠を書きます
• 集計と合格ライン：合格ラインと誤答の上限を入れると、分類ごとと全体の正答率・誤答率・答えない率・根拠のずれと、判定が出ます
• 資料の棚卸し：入れる資料の判定の表も、同じファイルに入っています

記事の記入例（架空の会社の総務・人事の20問）つきです。ブラウザで集計だけを試すなら、ツール「RAG の精度テストの集計」も使えます。分類と判定だけを選ぶので、質問の文や答えは入れません。入力した内容はどこにも送りません。

RAG の資料と精度テスト表の Excel をダウンロードする

登録は要りません。

クリーヴァに相談するとき

クリーヴァは、社内の資料を AI に読ませて答えさせる仕組みや、社内の業務システムの開発をお受けしています。すでに作った仕組みの精度を測りたい、質問集の作り方から相談したい、外部の会社に作ってもらう前に受け入れの条件を決めたい、といった段階からご相談いただけます。

おわりに

RAG の精度は、何問か試した感想ではなく、社員が実際に聞く質問集で測ります。合格ラインと誤答の上限を先に決め、答えがある質問・ない質問・関係ない質問を混ぜ、分類ごとに判定する。誤答の多い分類は使わず、合格した分類から使い始める。資料を直したら同じ質問で測り直し、使い始めた後も質問を集め続ける。この繰り返しで、社員が信じて使える仕組みになります。

出典（2026年11月11日に確認）

• デジタル庁「令和5年度 生成AIの業務利用に関する技術検証 結果」（2024年5月、検証は2023年12月〜2024年3月）
• デジタル庁「テキスト生成AI利活用におけるリスクへの対策ガイドブック（α版）」（2024年6月、2025年6月更新）
• デジタル庁「DS-920 生成AIの調達・利活用に係るガイドライン」（2026年6月12日改定）
• AI セーフティ・インスティテュート「AIセーフティに関する評価観点ガイド 第1.20版」（2026年7月7日）
• Magesh, V. ほか「Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools」（2024年5月）
• Yang, X. ほか「CRAG - Comprehensive RAG Benchmark」（2024年6月）
• Barnett, S. ほか「Seven Failure Points When Engineering a Retrieval Augmented Generation System」（2024年1月）
• Microsoft「RAG evaluators」、AWS「Knowledge base evaluation metrics」