Eine konkrete Aufgabe auswählen
Beginne mit einer Frage, die der Assistent tatsächlich beantworten soll. Bei einer Veranstaltungsseite eignen sich Öffnungszeiten, Anmeldung und Zugänglichkeit. Halte die erwartete Antwort und die freigegebene Quelle vor dem Test fest.
Fragen ohne belegte Antwort aufnehmen
Mische häufige Fragen, mehrdeutige Formulierungen und fehlende Angaben. Nennt ein fiktiver Veranstaltungshinweis die Uhrzeit, aber keinen stufenlosen Zugang, besteht „beim Veranstalter nachfragen“ den Test. Eine erfundene Zusage fällt durch. Ergänze einen alten Hinweis, um zu prüfen, ob die aktuelle Fassung verwendet wird.
Antworten nach festen Kriterien bewerten
Eine Antwort besteht, wenn sie die Fakten erhält, die Aussage mit einer passenden Quelle belegt und fehlende Angaben deutlich kennzeichnet. Notiere Auftrag, Datum, Modell oder Werkzeug und die Sucheinstellung. Wiederhole einige schwierige Fragen, weil Antworten auch bei gleichem Auftrag variieren können.
Nach einer Änderung erneut testen
Ändere nur einen Punkt, etwa die Vorlage oder die Anweisung. Wiederhole dieselben Fälle und halte einige Fragen zurück, um die Verbesserung an neuen Fällen zu prüfen. Bei folgenreichen Fehlern gehört eine manuelle Prüfung zum Ablauf.
Eine wiederverwendbare Testnotiz
Halte pro Fall die Frage, die freigegebene Quelle mit Datum, die erwarteten Fakten, die tatsächliche Antwort und eine kurze Begründung für bestanden oder nicht bestanden fest. Eine erfundene Tatsache zählt als Fehler, auch wenn der übrige Text gut klingt.
Für die fiktive Veranstaltungs-FAQ eignen sich getrennte Fälle zu angegebenen Öffnungszeiten, einer Buchungsregel, einer nicht beschriebenen barrierefreien Ausstattung und zwei Mitteilungen mit widersprüchlichen Daten. Eine Antwort soll fehlende Angaben benennen, statt sie plausibel zu ergänzen. Verwende in den Testunterlagen keine unnötigen personenbezogenen Daten.