Zum Inhalt springen
Rabanser Consulting
Facebook

AI · Evaluation

KI-Antworten prüfen, bevor man sich auf sie verlässt

Von Zuletzt geprüft

Ein kleiner, wiederholbarer Test für Fakten, Quellen und Unsicherheit.

Zwei Arbeitsblätter mit Prüfraster und handschriftlichen Markierungen nebeneinander
Symbolbild: Eine Vorlage und ein Prüfraster machen Ergebnisse vergleichbar.

Eine konkrete Aufgabe auswählen

Beginne mit einer Frage, die der Assistent tatsächlich beantworten soll. Bei einer Veranstaltungsseite eignen sich Öffnungszeiten, Anmeldung und Zugänglichkeit. Halte die erwartete Antwort und die freigegebene Quelle vor dem Test fest.

Fragen ohne belegte Antwort aufnehmen

Mische häufige Fragen, mehrdeutige Formulierungen und fehlende Angaben. Nennt ein fiktiver Veranstaltungshinweis die Uhrzeit, aber keinen stufenlosen Zugang, besteht „beim Veranstalter nachfragen“ den Test. Eine erfundene Zusage fällt durch. Ergänze einen alten Hinweis, um zu prüfen, ob die aktuelle Fassung verwendet wird.

Antworten nach festen Kriterien bewerten

Eine Antwort besteht, wenn sie die Fakten erhält, die Aussage mit einer passenden Quelle belegt und fehlende Angaben deutlich kennzeichnet. Notiere Auftrag, Datum, Modell oder Werkzeug und die Sucheinstellung. Wiederhole einige schwierige Fragen, weil Antworten auch bei gleichem Auftrag variieren können.

Nach einer Änderung erneut testen

Ändere nur einen Punkt, etwa die Vorlage oder die Anweisung. Wiederhole dieselben Fälle und halte einige Fragen zurück, um die Verbesserung an neuen Fällen zu prüfen. Bei folgenreichen Fehlern gehört eine manuelle Prüfung zum Ablauf.

Eine wiederverwendbare Testnotiz

Halte pro Fall die Frage, die freigegebene Quelle mit Datum, die erwarteten Fakten, die tatsächliche Antwort und eine kurze Begründung für bestanden oder nicht bestanden fest. Eine erfundene Tatsache zählt als Fehler, auch wenn der übrige Text gut klingt.

Für die fiktive Veranstaltungs-FAQ eignen sich getrennte Fälle zu angegebenen Öffnungszeiten, einer Buchungsregel, einer nicht beschriebenen barrierefreien Ausstattung und zwei Mitteilungen mit widersprüchlichen Daten. Eine Antwort soll fehlende Angaben benennen, statt sie plausibel zu ergänzen. Verwende in den Testunterlagen keine unnötigen personenbezogenen Daten.

Alle Ratgeber