Neu in HALO: Analysen, die Ihnen zeigen, was Ihre KI tatsächlich tut

Im Gegensatz zu einem Telefonmenü oder einem Chatbot mit festem Skript bewältigt ein KI-Agent nichtlineare Gespräche. Ein Kunde könnte mit einer Rückfrage beginnen, mitten im Gespräch ein Lieferproblem ansprechen und schließlich nach einem Rabattcode fragen. Es gibt keinen festgelegten Ablauf, keinen Reset-Knopf und kein Skript, anhand dessen die Einhaltung der Vorgaben gemessen werden könnte. Das wirft eine Frage auf, mit der jedes Team, das KI einsetzt, irgendwann konfrontiert wird: Wie kann man eigentlich wissen, ob es funktioniert?

Die Antwort lässt sich praktisch auf drei Dinge reduzieren, die man über jedes Gespräch sagen kann:

• Worum ging es? Das Thema.

• Wie ist es ausgegangen? Gelöst, ungelöst oder an einen Mitarbeiter weitergeleitet.

• Wie hat der Kunde darauf reagiert? Sein Feedback.

Alles andere ergibt sich aus diesen drei Punkten. Wir haben die Analysefunktionen in HALO erweitert, um alle drei Punkte sichtbar, miteinander verknüpft und umsetzbar zu machen.

Themenanalyse: Beginnen Sie damit, was Ihre KI tatsächlich gefragt wird

Bevor Sie etwas verbessern können, müssen Sie wissen, wo Sie ansetzen müssen. Wenn Ihre KI ein breites Spektrum an Fragen bearbeitet, ist nicht immer auf den ersten Blick erkennbar, wo die größten Probleme liegen. Ein Fragetyp, der viel Traffic generiert, aber regelmäßig zu Fehlern führt, verursacht weitaus höhere Kosten als einer, der nur gelegentlich danebenliegt. Ohne eine Übersicht auf Themenebene bleiben diese Muster verborgen.

Die Themenanalyse in HALO gruppiert Konversationen automatisch nach Themen und Unterthemen und visualisiert sie in einem Sankey-Diagramm. Das Diagramm verknüpft das Themenvolumen direkt mit dem Lösungsstatus und den Feedback-Bewertungen, sodass du auf einen Blick erkennen kannst, welche Bereiche Aufmerksamkeit erfordern. Wenn Rückmeldungen viele ungelöste Konversationen verursachen oder wenn ein bestimmtes Unterthema durchweg negatives Feedback erhält, wird dies sofort sichtbar. Das hilft dir dabei, Prioritäten zu setzen, wo du deine Zeit investieren solltest, und zu vermeiden, an Dingen zu arbeiten, die bereits gut funktionieren.

Vom Diagramm aus können Sie direkt zu den zugrunde liegenden Konversationen, bis hinunter auf die Ebene einzelner Nachrichten, und in die Optimize-Ansicht springen, um auf Ihre Erkenntnisse zu reagieren.

Resolution Rate: von einer Zahl zu einer Ausrichtung

Sobald Sie wissen, welche Themen die meisten Zugriffe verzeichnen, stellt sich die Frage, wie diese Konversationen ausgehen. Die Kenntnis Ihrer Gesamtlösungsquote ist ein Anfang, doch eine einzelne Prozentzahl gibt Ihnen keine Orientierung. Sie sagt Ihnen nicht, wo Sie ansetzen oder was Sie verbessern müssen.

Die Aufschlüsselung der Lösungsquote in HALO zeigt das Gesamtbild anhand von vier Status: „Gelöst“, „Unbestimmt“, „Ungelöst“ und „Weitergeleitet“. Sie können die gesamte Analyseübersicht nach jedem dieser Status filtern und sofort erkennen, welche Themen oder Unterthemen Ihre Zahlen nach unten ziehen. So wird aus einer allgemeinen Bewertung eine konkrete Maßnahme: Schließen Sie die Wissenslücke in diesem Unterthema, passen Sie den Ablauf für diesen Fragetyp an. Teams, die dies konsequent anwenden, sehen, wie sich ihre Lösungsquote im Laufe der Zeit verbessert, ohne raten zu müssen, wo sie ansetzen sollen.

Kundenfeedback: Was die Zahlen nicht immer widerspiegeln

Der Lösungsstatus gibt Auskunft darüber, wie eine Konversation endete. Er sagt jedoch nicht immer etwas darüber aus, wie der Kunde die Situation empfunden hat. Beides stimmt nicht immer überein. Eine Konversation, die HALO als gelöst einstuft, könnte den Kunden dennoch unzufrieden zurückgelassen haben, und ohne Feedback-Daten, die mit Ihren operativen Kennzahlen verknüpft sind, würden Sie dies nicht erfahren.

Der Kunden-Feedback-Score in HALO integriert Nutzerbewertungen direkt in die Analyseübersicht. Das Feedback wird über das WebConversations-Widget am Ende eines Gesprächs erfasst. Nutzer können eine Bewertung und eine kurze Nachricht hinterlassen. Diese Daten werden neben dem Lösungsstatus und dem Thema jedes Gesprächs angezeigt, sodass Sie sehen können, ob Zufriedenheit und Lösung in die gleiche Richtung gehen. Ist dies nicht der Fall, ist das in der Regel ein Signal, das es wert ist, untersucht zu werden. Eine gelöste Konversation mit durchweg niedrigen Bewertungen deutet oft auf eine Antwort hin, die zwar technisch korrekt, aber nicht wirklich hilfreich ist.

Für Teams, die WebConversations nicht nutzen, kann Feedback aus anderen Systemen über die API eingespielt werden, sodass es in derselben Ansicht erscheint.

Wenn etwas schiefgeht, kannst du die Ursache zurückverfolgen und das Problem sofort beheben

Die neuen Funktionen bauen auf einer Funktion auf, die schon immer Teil von HALO war: dem uneingeschränkten Zugriff auf jede einzelne Konversation. Jede Interaktion kann geöffnet und vollständig gelesen werden. Sie können sehen, welche Mitarbeiter beteiligt waren, welche Übergaben stattfanden und woher die Informationen in jeder Antwort stammten. Wenn eine Antwort auf Wissensinhalten basierte, können Sie direkt zur genauen Quelle weiterklicken. War eine Antwort falsch, können Sie sie bis zu dem spezifischen Dokument oder Ablauf zurückverfolgen, der sie verursacht hat, und das Problem an der Quelle beheben, anstatt Ihre gesamte Wissensdatenbank durchsehen zu müssen, um den Fehler zu finden.

Diese Rückverfolgbarkeit ist die Grundlage. Was Sie damit tun können, macht die Sache erst richtig interessant.

In der Optimize-Ansicht können Teammitglieder einzelne Antworten bewerten und falsche Antworten markieren. Aber über das Markieren hinaus können Sie aktiv mitgestalten, wie HALO antwortet. Ist eine Antwort zu lang, können Sie sie kürzen. Ist der Ton unpassend, können Sie ihn anpassen. Geht die Antwort völlig in die falsche Richtung, können Sie sie korrigieren. HALO speichert diese Änderungen nicht nur als Protokoll, sondern als Input, der beeinflusst, wie es ähnliche Fragen in Zukunft behandelt. Sie können auch gezielt Wissen direkt zu einer bestimmten Frage hinzufügen, ohne den Rest Ihrer Wissensdatenbank zu berühren oder eine vollständige Neukonfiguration auszulösen.

Diese Funktion ist seit den Anfängen Teil von HALO, doch haben wir ihr nicht immer die Aufmerksamkeit geschenkt, die sie verdient. In einem Markt, in dem die meisten Plattformen die KI nach wie vor als „Black Box“ behandeln – etwas, das man einmal konfiguriert und dann auf das Beste hofft –, ist eine kontextbezogene Qualitätskontrolle dieses Niveaus nach wie vor eine echte Seltenheit. Wir haben noch keinen Wettbewerber gesehen, der dies auf die gleiche Weise handhabt. Das Ergebnis ist eine KI, die im Laufe der Zeit durch die Arbeit, die Ihr Team ohnehin bereits leistet, immer genauer wird – und nicht durch separate Wartungszyklen oder regelmäßiges Umtrainieren. Je mehr Ihr Team damit arbeitet, desto weniger manuellen Aufwand erfordert es, die Qualität auf dem erforderlichen Niveau zu halten.

Eine KI, die du ständig verbessern kannst

Die meisten KI-Tools bieten nur begrenzte Einblicke in die Vorgänge im Hintergrund. Das ist in Ordnung, solange alles funktioniert, erschwert jedoch die Optimierung, wenn dies nicht der Fall ist. HALO basiert auf der Prämisse, dass Ihr Team jederzeit in der Lage sein muss, die Aktivitäten der KI zu beobachten, zu hinterfragen und zu korrigieren.

Wenn Sie KI für den Kundenservice verwalten – ganz gleich, ob Sie etwas selbst entwickelt, Tools zusammengestellt haben oder mit einer Plattform arbeiten, die Ihnen diese Einblicke nicht bietet –, läuft der Unterschied zwischen dem Betrieb eines KI-Agenten und dessen tatsächlicher Verwaltung genau darauf hinaus: Können Sie sehen, was er tut, und können Sie darauf reagieren?

Die neuen Analysefunktionen machen dies praktikabler. Wenn Sie HALO bereits nutzen, stehen Ihnen die Aufschlüsselung der Lösungsquote, der Kundenfeedback-Score und die Themenanalyse ab sofort in Ihrer Analyseübersicht zur Verfügung.