Admin

Evaluations

Antwortqualität von Agents systematisch testen und verbessern (Preview).

⭐ Preview — kommt in Version 3. Dieser Bereich ist eine Vorschau und noch nicht produktiv verfügbar. Aufbau und Funktionsumfang können sich bis zum Release ändern; die gezeigten Einträge sind Beispieldaten.

Evaluations dienen dazu, die Antwortqualität von Agents systematisch zu testen und zu verbessern — statt sich auf punktuelle manuelle Stichproben zu verlassen.

Was geplant ist

• Evaluations — Testläufe gegen einen Agent (inkl. dessen Version) mit Status (In Progress / Completed).
• Runs — einzelne Durchläufe einer Evaluation einsehen.
• Create — eine neue Evaluation anlegen.

Die Tabelle zeigt je Eintrag Name, Status, Agent Name, Version und Actions.

Detailansicht

Ein Klick auf einen Eintrag öffnet ein Seitenpanel mit der Auswertung:

• Agent und Version, gegen die evaluiert wurde, sowie der Overall Score.
• Eine Diagramm-Auswahl (z. B. Radar Chart) mit Performance Across Categories — Vergleich der Metriken über die Kategorien (z. B. Coding, Math, History).
• Metriken wie Precision, Recall, F1, Answer Relevancy sowie General und Dataset.

Schliessen über das × oben rechts.

Sobald der Bereich mit v3 ausgeliefert wird, ergänzen wir hier die vollständige Anleitung (Testfälle definieren, Metriken, Auswertung).