Warum wir Evaluate entwickelt haben
HALO unterstützt schon lange das manuelle Testen von Unterhaltungen. Im Testcenter stellen Sie eine Frage und verfolgen, wie Ihre Agenten damit umgehen. Sie sehen, welche Quellen sie nutzen und ob sie eine Aktion über ein angebundenes System erfolgreich ausführen. Das hilft Ihnen, die Abläufe zu verstehen und Fehler zu erkennen.
Wenn Ihre Agenten ein hohes Gesprächsvolumen bewältigen, müssen Sie mehr Szenarien testen, als sich manuell prüfen lassen. Zehn erfolgreiche Testgespräche bieten nur einen sehr eingeschränkten Einblick, wenn Sie monatlich Hunderttausende Interaktionen verarbeiten.
Wenn Sie einen Agenten entwickeln, testen Sie meist die Unterhaltung, die Sie selbst im Kopf haben. Sie wissen, welche Informationen benötigt werden, und formulieren Ihre Frage entsprechend. Ihre Kunden gehen jedoch ganz anders an die Sache heran. Ein Voice-Agent bittet beispielsweise darum, in einem ganzen Satz zu antworten, erhält aber nur ein einzelnes Wort als Rückmeldung. Die Unterhaltung muss trotzdem weitergehen.
Wir haben Evaluate entwickelt, um diese Tests skalierbar zu machen. Damit können Sie anhand einer Vielzahl von Szenarien prüfen, ob Ihre Agenten wie erwartet reagieren, bevor Sie sie veröffentlichen.
Was ist Evaluate?
Evaluate ist die Funktion in HALO, die automatisch Sammlungen von Testszenarien ausführt. Diese einzelnen Tests werden als Evaluierungen, kurz Evals, bezeichnet.
Für jede Evaluierung definieren Sie die Kundenfrage oder -situation, die Sie testen möchten, sowie das gewünschte Ergebnis. Ein Kunde möchte beispielsweise eine Rücksendung anmelden, eine Adressänderung melden oder seine monatliche Abschlagszahlung für Energie anpassen.
Bei diesen Aufgaben muss der Agent das gewünschte Ergebnis erzielen. Eine gut formulierte Antwort ist nur ein Teil der Unterhaltung. Wenn ein Kunde eine Änderung vornehmen möchte, sollten Sie auch prüfen, ob der Agent diese Aufgabe erfolgreich abschließt.
Eine Sammlung von Evaluierungen ermöglicht es Ihnen, mehrere Aufgaben und Gesprächspfade zu testen. So erhalten Sie ein umfassenderes Bild von der Leistung Ihrer Agenten.
Wie funktioniert Evaluate?
1. Erstellen Sie Ihre Testszenarien
Sie erstellen eine Sammlung von Situationen, die Sie testen möchten. Welche Fragen erhalten Ihre Agenten? Welche Aufgaben sollen sie ausführen? Und was gilt als erfolgreiches Ergebnis?
Sie können die Sammlung selbst erstellen oder Szenarien über Ask HALO generieren lassen. Zudem können Sie Ask HALO bitten, Variationen für eine bereits manuell getestete Unterhaltung vorzuschlagen. So weiten Sie Ihre Tests auf andere Formulierungen aus, mit denen Kunden dieselbe Frage stellen könnten.
Der Umfang Ihrer Sammlung hängt von Ihrem Anwendungsfall ab. Eine Konfiguration mit mehreren Agenten, die verschiedene Aufgaben übernehmen, erfordert mehr Szenarien als ein einzelner Agent mit einer klar definierten Aufgabe. Im Video nennt Rutger Sammlungen von 50 oder 100 Szenarien als Beispiele.
2. Szenarien mehrfach ausführen
KI kann bei jedem Durchlauf anders reagieren. Evaluate führt daher jedes Szenario mehrmals aus, um zu prüfen, ob der Agent das gewünschte Ergebnis konsistent erzielt.
HALO markiert einen bestimmten Testpfad als erfolgreich, wenn jede Wiederholung bestanden wird. Die Erfolgsquote für diesen Pfad liegt dann bei 100 %. Dieser Prozentsatz bezieht sich auf die durchgeführten Tests. Wie gut Ihre Sammlung tatsächliche Kundengespräche abdeckt, hängt von den Szenarien ab, die Sie einbeziehen.
3. Ergebnisse vor der Veröffentlichung prüfen
Nach dem Testen sehen Sie, welche Szenarien erfolgreich waren und welche Aufmerksamkeit erfordern. Anschließend können Sie Anpassungen vornehmen und die Tests erneut ausführen.
Das ist besonders nützlich, wenn Sie einen bestehenden Agenten ändern. Sie möchten wissen, ob die Änderung das gewünschte Problem löst und wie sich der Rest Ihrer Konfiguration danach verhält. Die erneute Ausführung Ihrer gesamten Sammlung zeigt Ihnen auch, ob sich eine Änderung auf Aufgaben auswirkt, die zuvor einwandfrei funktionierten.
Ihre Änderungen bleiben in HALO Studio gespeichert, bis Sie auf „Veröffentlichen“ klicken. Bis dahin verarbeitet Ihre bestehende Konfiguration weiterhin die Kundengespräche. Sie entscheiden, wann Sie die neue Version veröffentlichen, und nutzen die Testergebnisse als Entscheidungshilfe.
Vom Verbesserungspotenzial zur getesteten Änderung
Evaluate arbeitet Hand in Hand mit Analytics, Optimize und Ask HALO. Zusammen unterstützen sie Sie bei der kontinuierlichen Verbesserung Ihrer Agenten.
Analytics und Optimize helfen Ihnen zu erkennen, an welchen Stellen Unterhaltungen ins Stocken geraten oder Chancen ungenutzt bleiben. Vielleicht stellen Sie fest, dass eine bestimmte Art von Frage regelmäßig unzureichend beantwortet wird. In diesem Fall können Sie die Anpassung direkt über Ask HALO vornehmen.
Mit Evaluate prüfen Sie, ob diese Anpassung das gewünschte Ergebnis liefert. Sie testen das betroffene Szenario und führen Ihre übrigen Tests erneut aus. Anschließend beurteilen Sie, ob die Änderung bereit für die Veröffentlichung ist.
Nach der Veröffentlichung liefern neue Kundengespräche Erkenntnisse für die nächste Optimierung. Sie behalten stets die Kontrolle über alle Entscheidungen und werden bei der Analyse, Aktualisierung und dem Testen Ihrer Agenten optimal unterstützt.
Eigene Szenarien beim Wechsel von KI-Modellen testen
Evaluierungen are also useful when you’re considering a different AI model. A model might score well in a general benchmark, but you want to know how it performs on your customer questions and tasks.
Indem Sie Ihre eigene Sammlung erneut ausführen, testen Sie das Modell direkt in Ihrer bestehenden Agenten-Konfiguration. Das bietet Ihnen eine konkrete Entscheidungsgrundlage, um zu beurteilen, ob der Modellwechsel tatsächlich eine Verbesserung darstellt.
Evaluate in HALO entdecken
Mit Evaluate wird das Testen Ihrer KI-Agenten zum festen Bestandteil jeder größeren Änderung. Sie definieren, was ein Agent tun soll, testen dies in großem Umfang und entscheiden auf Basis der Ergebnisse, was veröffentlicht wird.
+49 32 221 09 6288
