RAG の精度テストの集計
Kaizen
社内の資料を AI に読ませて答えさせる仕組み(RAG)の精度は、社員が実際に聞く質問を集めて測ります。質問ごとに AI の答えを判定して入れると、分類ごとと全体の正答率・誤答率・答えない率と、合格ラインに対する判定が出ます。式は、Excel の「RAG の資料と精度テスト表」と同じです。
入力した内容は、このページの中だけで計算し、どこにも送りません。質問の文や答えは入れず、分類と判定だけを選びます。
1質問ごとの判定を選ぶ
| No | 分類 | 判定 | 根拠 |
|---|---|---|---|
| 1 | |||
| 2 | |||
| 3 | |||
| 4 | |||
| 5 | |||
| 6 | |||
| 7 | |||
| 8 | |||
| 9 | |||
| 10 | |||
| 11 | |||
| 12 | |||
| 13 | |||
| 14 | |||
| 15 | |||
| 16 | |||
| 17 | |||
| 18 | |||
| 19 | |||
| 20 |
正しい=期待する答えの要点がそろい、間違いがない。一部正しい=要点が欠けているが間違いはない。誤り=間違いを含む(もっともらしい間違いも含む)。根拠=AI が示した資料が、期待する根拠の資料と合っているか。
次にすること
業務改善の次の一手相談
この結果をもとに、自社の次の一手を30分で一緒に決めます
ツールの結果を画面で一緒に見ながら、次に何から手を付けるかをうかがいます。相談のあと、次の一手を3つ書面でお送りします。Excel や既製のサービスで足りるなら、作らなくてよいとお伝えします。
- 無料・オンライン30分
- 次の一手を書面でお送りします
ほかのツールはツールの一覧にあります。