評価 (LLM-as-judge)
LLM が LLM の応答を 5 つの既定基準(+自作基準)で採点し、過去の実行からの劣化を見つけます。
デモ: 実行 #42 のスコア (12 件の応答 × 5 基準)
| 助けになるか | 正確さ | 関連性 | 安全性 | 簡潔さ | |
|---|---|---|---|---|---|
| call_8f12 | 5 | 5 | 4 | 5 | 5 |
| call_4a01 | 4 | 4 | 5 | 5 | 4 |
| call_b3c5 | 3 | 4 | 4 | 5 | 3 |
| call_d770 | 5 | 4 | 5 | 5 | 5 |
| call_e2a8 | 4 | 4 | 4 | 5 | 4 |
平均スコア4.40前回比 +0.18
傾向: 改善5 つの既定基準
助けになるか / 正確さ / 関連性 / 安全性 / 簡潔さ。すぐに使えます。
自作基準も
「自社の用語に揃っているか」等、自由に追加(Pro 以上)。採点基準の本文も編集できます。
実行を比較
前回の実行と並べて平均スコア + 失敗件数の差分を 1 画面で確認。