Legora bouwt juridische AI-agents zonder de data van klanten te kunnen inzien, en test ze met nagemaakte werkomgevingen.
Waarom dit nuttig is om te weten
Legora is een Zweeds legal-tech bedrijf dat AI-agents bouwt voor advocatenkantoren. Hun CTO, Jacob Lauritzen, vertelt in een podcast van 67 minuten hoe ze dat doen zonder ooit de sporen van hun agent bij juristen te kunnen lezen. Die data hoort toe aan de cliënten van de kantoren. De kernvraag is dan: hoe test je een agent die je niet kunt inzien? Het antwoord is dat ze testomgevingen bouwen die lijken op het werk van klanten, en de kwaliteit op andere manieren meten. Dat is ook voor het MKB relevant. Ook zonder zicht op elke stap kun je kwaliteit meten en verbeteren.
Wanneer je dit nodig hebt
Je komt dit tegen als je AI wilt inzetten op gevoelige stukken, zoals klantdossiers, contracten of medische gegevens, die je leverancier of je eigen team niet zomaar mag inzien. Wat kun je doen? Vraag je leverancier hoe die testen, met welke voorbeelden en welke meetpunten. Laat fouten in categorieën indelen, zodat je ziet waar het misgaat. Let op modelkeuze: niet elk model is goed voor elke taak. Lauritzen schat dat modellen nu ongeveer 60 procent van juridisch werk goed aankunnen. Een kleine wijziging in de opzet kan veel uitmaken. Volgens hem ging het citeren van bronnen van 70 naar 99 procent, in één release, zonder dat ze iets aan de opzet veranderden.
Hoe het technisch in elkaar zit
Legora test met evals in gesimuleerde omgevingen, vergelijkbaar met de 'worlds' uit reinforcement learning. Drie engineers en drie juristen bouwen die testdata na het werk van klanten. Omdat traces niet leesbaar zijn, werken ze met geparafraseerde traces en productmetrics, en herleiden ze fouten tot 10 à 20 typen. Lange contracten behandelen ze als zoekprobleem: retrieval en een citatiesysteem als guardrail tegen hallucinaties. Voor een contract van een miljoen tokens kiezen ze tussen MapReduce en één groot contextvenster. Infrastructuur draait op Azure vanwege dataprivacy. Tabular Review is de spreadsheetlaag, en agents kunnen lijsten maken die weer nieuwe agents starten. Let op: alle cijfers komen van de spreker zelf, niet uit een onafhankelijke benchmark.
Dit nieuws raakt hoofdstuk 22 en 12 en 7 van de cursus Alles of (n)iets met AI van Newway. Volg je de cursus, dan komt dit onderwerp daar in meer rust terug.
Wat je hiermee kunt
Wil je weten wat dit voor jouw bedrijf betekent? Plan een kennismaking: een half uur, geen verkooppraatje, wel een eerlijk antwoord op de vraag waar je moet beginnen. Liever eerst zelf verder lezen? De cursus Alles of (n)iets met AI is gratis en begint bij de basis.
Geschreven naar aanleiding van een publicatie van Latent Space: https://latent.space/p/building_legal_agents_when_you_can_t_see_the_data_-_jacob_lauritzen_cto_of_legora/
