複数評価者の合意とパフォーマンス影響の方法論。
Taloton はシナリオ結果を単一モデルの判定に委ねません。Nousaxis は匿名の評価者席を集め、品質、一貫性、説明可能性のシグナルを 1 つのレポートにまとめます。
各ラウンドは、異なるモデル上で動作する匿名の評価者席によって採点されます。評価者はどのモデルがどの回答を書いたかを見ることはできません。席の数はセッションの予算に応じて変動する場合があります。
各評価者はマージンを提案し、最終結果はこれらの提案の中央値を用います。そのため、単一の外れ値がラウンドを決定することはできません。
評価者の提案が設定されたしきい値を超えて分岐した場合、システムは分岐を記録し、矛盾する根拠をレポートに表示します。 評価者が分かれた場合、そのラウンドの影響は軽減されます。
信頼できる評価とは単一スコアではなく、異なる推論スタイル間の追跡可能な合意です。