Een AI-agent die de verkeerde tool kiest of een stap overslaat, repareer je niet door aan de prompt te draaien en te hopen. Je moet meten wat er misgaat en na elke wijziging opnieuw toetsen. Zonder vaste testset blijft elke aanpassing gokken.
Waarom gewone tests hier tekortschieten
Een gewone softwaretest bevestigt dat je code werkt. Bij een agent is dat niet genoeg: hij neemt zelf beslissingen, en een fout is vaak niet direct zichtbaar. Het antwoord ziet er goed uit, maar onderweg koos hij een verkeerde route.
DeepLearning.AI kondigde op 4 november een gratis cursus aan over precies dit probleem: Evaluating and Improving Agentic Applications, gemaakt met Arize AI. Docent is Laurie Voss, Head of Developer Relations bij Arize en medeoprichter van npm. De werkwijze is bruikbaar, ook als je de cursus nooit volgt.
De werkwijze in vier stappen
Lees de traces
Een trace is het volledige logboek van één run: welke modelaanroepen, welke tools, welke tussenresultaten. Daarin zie je terugkerende fouten, zoals een verkeerde tool, een ontbrekende stap of een verzonnen gegeven.
Maak er een testset van
Elke fout die je vindt, wordt een testcase die je na elke wijziging opnieuw draait. Zo zie je of een aanpassing het probleem oplost en of er niets anders stukgaat.
Laat code controleren wat code kan
Of een verplichte stap is uitgevoerd, toets je met een eenvoudige codecontrole. Die is goedkoop en geeft altijd hetzelfde antwoord.
Gebruik een taalmodel als beoordelaar, maar ijk hem eerst
Voor het oordeel over tekst kun je een taalmodel als beoordelaar inzetten, een zogenoemde LLM-judge. Leg hem eerst een handvol voorbeelden voor die je zelf al hebt beoordeeld. Pas als hij het met jouw oordeel eens is, kun je op hem vertrouwen.
Wij vinden: dat een agent pas in het werk hoort als vaststaat hoe je zijn fouten opspoort. Evalueren hoort bij het werk, niet erna.
Wat je nu doet
- Verzamel tien tot twintig mislukte runs van een agent die je al gebruikt, en schrijf per run in één zin op wat er misging.
- Spreek af wie de testset beheert en dat geen wijziging live gaat zonder dat de set opnieuw is gedraaid.
- Vraag je leverancier of IT-partner hoe hij fouten van de agent meet. Komt er geen concreet antwoord, dan weet je waar je moet beginnen.
Hoe het technisch in elkaar zit
Uit de traces leid je foutcategorieën af. Per categorie kies je: een vaste codecontrole waar het antwoord eenduidig is, een beoordelaar met een korte rubriek en een uitslag goed of fout waar het om tekst gaat. Draai de hele set als regressietest: dezelfde cases, na elke wijziging, met de uitslag naast de vorige.
Dit nieuws raakt hoofdstuk 22 van de cursus Alles of (n)iets met AI van Newway. Volg je de cursus, dan komt dit onderwerp daar in meer rust terug.
Wat je hiermee kunt
Wil je weten wat dit voor jouw bedrijf betekent? Plan een kennismaking: een half uur, geen verkooppraatje, wel een eerlijk antwoord op de vraag waar je moet beginnen. Liever eerst zelf verder lezen? De cursus Alles of (n)iets met AI is gratis en begint bij de basis.
Geschreven naar aanleiding van een publicatie van DeepLearning.AI (YouTube): https://www.youtube.com/watch?v=5__Fm2TnPcU
S.O.S