RAG の精度テストの集計

Kaizen

社内の資料を AI に読ませて答えさせる仕組み(RAG)の精度は、社員が実際に聞く質問を集めて測ります。質問ごとに AI の答えを判定して入れると、分類ごとと全体の正答率・誤答率・答えない率と、合格ラインに対する判定が出ます。式は、Excel の「RAG の資料と精度テスト表」と同じです。

入力した内容は、このページの中だけで計算し、どこにも送りません。質問の文や答えは入れず、分類と判定だけを選びます。

1質問ごとの判定を選ぶ

No分類判定根拠
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

正しい=期待する答えの要点がそろい、間違いがない。一部正しい=要点が欠けているが間違いはない。誤り=間違いを含む(もっともらしい間違いも含む)。根拠=AI が示した資料が、期待する根拠の資料と合っているか。

次にすること

業務改善の次の一手相談

この結果をもとに、自社の次の一手を30分で一緒に決めます

ツールの結果を画面で一緒に見ながら、次に何から手を付けるかをうかがいます。相談のあと、次の一手を3つ書面でお送りします。Excel や既製のサービスで足りるなら、作らなくてよいとお伝えします。

  • 無料・オンライン30分
  • 次の一手を書面でお送りします
次の一手相談を申し込む(無料)

ほかのツールはツールの一覧にあります。