Waarom we Evaluate hebben gebouwd
In HALO kun je al langer handmatig gesprekken testen. In het testcenter stel je een vraag en volg je hoe je agents die afhandelen. Je ziet welke bronnen ze gebruiken en of het lukt om via een gekoppeld systeem een actie uit te voeren. Dat geeft je inzicht in wat er gebeurt en helpt om fouten op te sporen.
Wanneer je agents veel gesprekken verwerken, wil je meer situaties kunnen testen dan je zelf met de hand kunt doorlopen. Bij honderdduizenden interacties per maand geven tien geslaagde testgesprekken een beperkt beeld.
Daar komt bij dat je als bouwer vaak test vanuit de route die je voor ogen hebt. Je weet welke informatie nodig is en stelt je vraag op een manier die daarbij past. Je klanten doen dat op hun eigen manier. Een voice-agent kan vragen om een volledige zin en vervolgens één woord als antwoord krijgen. Ook dan moet het gesprek verder kunnen.
We hebben Evaluate gebouwd om dat testen schaalbaar te maken. Daarmee kun je vóór publicatie op grotere schaal toetsen of je agents doen wat je van ze verwacht.
Liever kijken dan lezen?
In deze aflevering gaan Rutger en Tom dieper in op Evaluate. Hieronder de uitgewerkte versie.
Wat is Evaluate?
Evaluate is de functie in HALO waarmee je collecties van testscenario’s automatisch laat uitvoeren. Die afzonderlijke tests noemen we evaluaties, of kortweg evals.
Voor een evaluatie leg je vast welke klantvraag of situatie je wilt testen en wat de gewenste uitkomst is. Bijvoorbeeld een klant die een retour wil aanmelden, een verhuizing wil doorgeven of het maandbedrag van een energierekening wil aanpassen.
Bij zulke taken gaat het erom dat de agent de gewenste uitkomst bereikt. Een goed geformuleerd antwoord is daarbij slechts een onderdeel van het gesprek. Als de klant een wijziging wil doorgeven, wil je ook toetsen of de agent die taak succesvol uitvoert.
Met een collectie evaluaties test je meerdere taken en gespreksverlopen. Zo krijg je een breder beeld van hoe je agents presteren.
Hoe werkt Evaluate?
1. Stel je testscenario’s samen
Je maakt een collectie met de situaties die je wilt testen. Welke vragen krijgen je agents? Welke taken moeten ze uitvoeren? En wanneer is zo’n taak geslaagd?
Je kunt die collectie zelf samenstellen of Ask HALO gebruiken om scenario’s voor je te laten aanmaken. Ook kun je Ask HALO vragen om varianten te bedenken op een gesprek dat je al handmatig hebt getest. Daarmee breid je de test uit naar andere manieren waarop klanten dezelfde vraag kunnen stellen.
De omvang van je collectie hangt af van je toepassing. Een setup met meerdere agents en uiteenlopende taken vraagt om meer scenario’s dan een agent met één afgebakende taak. In de aflevering noemt Rutger bijvoorbeeld collecties van vijftig of honderd scenario’s.
2. Laat scenario’s meerdere keren uitvoeren
AI kan bij herhaling anders reageren. Daarom laat Evaluate een scenario meerdere keren doorlopen. Zo toets je of de agent de gewenste uitkomst consistent behaalt.
HALO toont een specifiek testpad als succesvol wanneer alle uitgevoerde herhalingen slagen. De pass rate voor dat pad is dan 100%. Dat percentage heeft betrekking op de uitgevoerde tests. Hoe goed je collectie de praktijk afdekt, hangt af van de scenario’s die je erin opneemt.
3. Beoordeel het resultaat vóór publicatie
Na het testen bekijk je welke scenario’s slagen en welke aandacht nodig hebben. Vervolgens kun je aanpassingen doen en opnieuw testen.
Dat is vooral waardevol wanneer je iets verandert aan een bestaande agent. Je wilt weten of de aanpassing het beoogde probleem oplost en hoe de rest van je setup daarna presteert. Door je bredere collectie opnieuw uit te voeren, kun je ook ontdekken of een wijziging gevolgen heeft voor taken die eerder goed gingen.
Je wijzigingen blijven in HALO Studio totdat je op Publish drukt. Tot die tijd blijft je bestaande setup de klantgesprekken afhandelen. Je bepaalt dus zelf wanneer je de nieuwe versie publiceert, op basis van de testresultaten.
Van een verbeterpunt naar een geteste aanpassing
Evaluate sluit aan op Analytics, Optimize en Ask HALO. Samen ondersteunen ze het proces waarmee je agents verder verbetert.
Via Analytics en Optimize ontdek je waar gesprekken vastlopen of waar kansen blijven liggen. Misschien blijkt dat een bepaald type vraag regelmatig niet goed wordt afgehandeld. Met Ask HALO kun je vervolgens een aanpassing laten doorvoeren.
Met Evaluate toets je daarna of die aanpassing de gewenste uitkomst oplevert. Je controleert het betreffende scenario en laat ook je andere tests opnieuw uitvoeren. Vervolgens beoordeel je of de wijziging klaar is om te publiceren.
Na publicatie leveren nieuwe klantgesprekken weer inzichten op voor een volgende verbetering. Je blijft zelf betrokken bij de keuzes en krijgt steeds meer ondersteuning bij het analyseren, aanpassen en testen.
Ook bij een nieuw AI-model wil je je eigen scenario’s testen
Evaluaties zijn ook bruikbaar wanneer je een ander AI-model overweegt. Een model kan goed scoren in een algemene benchmark, maar je wilt weten hoe het presteert bij jouw klantvragen en taken.
Door je eigen collectie opnieuw uit te voeren, toets je het model binnen jouw agentsetup. Daarmee krijg je een concrete basis om te beoordelen of overstappen een verbetering is.
Ontdek Evaluate in HALO
Met Evaluate maak je het testen van je AI-agents onderdeel van iedere belangrijke wijziging. Je legt vast wat een agent moet kunnen, test dat op schaal en gebruikt de resultaten om te bepalen wat je publiceert.
