Wat een AI-agent doet, moet zichtbaar zijn en binnen duidelijke grenzen blijven
Een AI-agent volgt geen vast script. Een gesprek kan beginnen met een vraag over een retour, vervolgens overgaan in een leveringsprobleem en eindigen met een vraag over een kortingscode, zonder dat daar vooraf een vaste route voor is bepaald.
Dat roept een terechte vraag op: doet de agent alleen wat je hem hebt toegestaan? En blijft hij binnen die grenzen wanneer een gesprek een onverwachte kant op gaat?
Een platform moet daar op twee manieren grip op bieden. Ten eerste moet je precies kunnen zien wat een agent heeft gedaan en waarom, tot op het niveau van één specifiek antwoord. Daarnaast moet je vooraf kunnen bepalen welke kennis, tools en acties de agent mag gebruiken, zodat hij niet buiten die kaders kan handelen.
Zichtbaarheid is ook het startpunt voor verbetering
Die zichtbaarheid is niet alleen belangrijk om controle te houden. Het is ook het startpunt om een AI-agent gericht te kunnen verbeteren.
Om te beoordelen of een AI-agent goed presteert, wil je van ieder gesprek drie dingen weten: waar ging het over, hoe liep het af — opgelost, niet opgelost of overgedragen — en wat vond de klant ervan?
En wanneer een antwoord niet klopt, wil je kunnen achterhalen waar het vandaan kwam: welk document, welke bron of welke stap in het gesprek heeft tot dat antwoord geleid?
Zonder die herleidbaarheid blijft verbeteren grotendeels giswerk. Met die informatie wordt duidelijk bij welke onderwerpen de meeste problemen ontstaan en wat daar de oorzaak van is.
Inzicht alleen is niet genoeg: je moet er ook iets mee doen
Weten wat er misgaat, betekent nog niet dat het probleem ook wordt opgelost.
Iemand moet honderden gesprekken doorlopen, terugkerende patronen herkennen en bepalen welke problemen de moeite waard zijn om aan te pakken. Dat kan handmatig, maar kost veel tijd. Ook voor teams die hier serieus mee bezig zijn. Eén gesprek beoordelen is namelijk iets heel anders dan herkennen dat dezelfde fout in één week veertig keer voorkomt.
Juist daarin verschillen platforms van elkaar: wordt die vertaalslag van data naar concrete prioriteiten automatisch en continu gemaakt, of blijft dat afhankelijk van iemand die tijd moet vrijmaken om de data te bekijken?
Wie verbeteringen kan doorvoeren, bepaalt hoe snel je kunt verbeteren
Voorheen had je voor beide stappen vaak een ontwikkelaar nodig: iemand die de data kon analyseren én iemand die vervolgens de benodigde aanpassing kon bouwen. Daardoor konden er dagen of zelfs weken zitten tussen het moment waarop een probleem werd gesignaleerd en het moment waarop het daadwerkelijk was opgelost.
De organisaties die het snelst verbeteren, zijn daarom niet per definitie de organisaties met de meeste data. Het zijn vooral de organisaties waar degene die een probleem signaleert, ook zelf in staat is om de oplossing door te voeren. Zonder eerst een ticket bij een ander team in te dienen of te wachten tot er ruimte is in een volgende sprint.
Hoe HALO invulling geeft aan deze vier voorwaarden
Deze vier voorwaarden zijn voor ons geen abstracte uitgangspunten. HALO is juist zo ingericht dat ze onderdeel zijn van het platform. Hieronder laten we zien hoe dat werkt.
Analyze: zichtbaarheid en herleidbaarheid
In HALO kun je ieder gesprek terugzien: waar het over ging, hoe het afliep en wat de klant ervan vond.
Topic Analysis groepeert gesprekken automatisch per onderwerp en koppelt die aan de resolution status en feedback. Zo wordt direct zichtbaar bij welke onderwerpen de meeste problemen ontstaan.
Ook ieder afzonderlijk antwoord is terug te leiden naar de bron. Komt een antwoord bijvoorbeeld uit een kennisdocument, dan kun je precies zien welk document daarvoor is gebruikt. Was het antwoord onjuist, dan kun je achterhalen waar dat vandaan kwam.
Geen black box die je simpelweg moet vertrouwen, maar een duidelijk spoor dat je kunt volgen. We schreven hier eerder uitgebreider over in het artikel over HALO Analytics.
Optimize: van inzicht naar concrete suggesties
Optimize houdt die inzichten continu bij. Het analyseert gesprekken waarin de agent niet succesvol was en herkent terugkerende patronen.
Die patronen worden onderverdeeld in twee categorieën: kennisgaten, waarbij de agent informatie mist, en skill-issues, waarbij de agent het antwoord in principe wel kan geven, maar niet over het juiste gereedschap beschikt om dat te doen.
Bij iedere suggestie zie je direct hoeveel gesprekken ermee te maken hebben en hoe vaak die gesprekken uiteindelijk escaleren of onopgelost blijven. Zo kun je beter bepalen welke verbeteringen de meeste impact hebben.
Vanuit zo'n suggestie kun je direct de onderliggende gesprekken bekijken of meteen aan de slag met een oplossing. Je kunt bijvoorbeeld een oplossing laten voorstellen, een kennisfragment laten schrijven of een document uploaden met de informatie die nog ontbrak.
Ask HALO: zelf de oplossing bouwen
Met Ask HALO komen analyse en verbetering bij dezelfde persoon samen.
Degene die een suggestie vanuit Optimize ontvangt, kan de oplossing direct zelf laten voorstellen, testen en publiceren. Gewoon in natuurlijke taal en zonder daarvoor eerst een ticket bij een ander team te hoeven indienen.
Jason de Lijster van Winparts gebruikte Ask HALO bijvoorbeeld om zijn agents over te zetten naar een nieuw template, zonder iedere keer opnieuw te hoeven beginnen en zonder kwaliteit te verliezen.
Ryan Dingjan van Preston Palace gebruikt Ask HALO dagelijks om gesprekken te analyseren die door de agent niet goed zijn afgehandeld. Hij geeft aan dat Ask HALO uitlegt waarom iets misging en vervolgens direct helpt om het op te lossen.
Dit werkt beter naarmate er meer gesprekken beschikbaar zijn waarin patronen kunnen worden herkend. Tegelijkertijd vervangt het niet de keuzes die je als organisatie zelf maakt over bijvoorbeeld tone of voice of beleid. Die beslissingen blijven bij jou.
