Een AI-proces dat vorige maand prima offertes of klantmails opleverde, wordt ineens slordiger, terwijl je prompt niets veranderde. Dat zit vaak niet tussen je oren. Leveranciers passen na de lancering de instellingen rond een model aan, en ze zijn niet verplicht dat te melden.
Wat er gebeurde
Nate Herk zocht in een video van 18 november uit waarom modellen na de lancering slechter lijken te worden. Hij las de post-mortems van de leveranciers, dagelijkse meetsites en de benchmarks uit lanceringen.
Wat hij vond
- Anthropic en OpenAI gaven allebei op schrift toe dat hun modellen na de lancering een tijd slechter werkten.
- Hij vond geen bewijs dat het model zelf wordt verwisseld. De gewichten, het eigenlijke model, lijken gelijk te blijven.
- Wat wel verandert, zijn vier knoppen eromheen: hoeveel het model mag nadenken, de verborgen instructies van de leverancier, naar welk model je vraag wordt doorgestuurd, en fouten in de app zelf.
- Volgens de video verplicht niets een leverancier om je te vertellen wanneer zo'n knop omgaat. De rekenkracht is schaars, dus de druk om te knijpen is er.
De vier knoppen in gewone taal
- Denktijd. De standaard in de app ligt volgens Herk lager dan de stand waarmee benchmarks worden gedraaid.
- Instructies. De leverancier zet zelf regels om het model heen. Een regel die antwoorden korter maakt, kan de kwaliteit raken.
- Doorsturen. Een vraag kan zonder melding bij een ander model uitkomen, bijvoorbeeld via een veiligheidsfilter.
- Appfouten. Een bug in de app kan het antwoord slechter maken terwijl het model niets mankeert.
De meetcijfers in de video komen grotendeels uit eigen metingen van de maker. Die hebben we niet kunnen toetsen en laten we hier weg.
Wij vinden: de benchmark uit een lancering zegt niets over jouw werk van volgende maand. Wat je zelf niet meet, kun je ook niet bijsturen.
Wat dit betekent voor jouw organisatie
Draai je wekelijks een vast AI-proces, zoals offertes, klantmails of samenvattingen van overleggen, dan is de kwaliteit geen vaststaand gegeven. Die kan stil verschuiven door een keuze van de leverancier. Dat is een procesrisico, net als een leverancier die zonder bericht een onderdeel vervangt.
Wat je nu doet
- Leg per proces vast welk model en welke instelling je gebruikt. Schrijf het op bij de werkinstructie.
- Bewaar een klein vast testsetje, bijvoorbeeld vijf vragen met het antwoord dat je verwacht, en draai dat maandelijks en na elke merkbare verandering opnieuw.
- Vergelijk met je eigen werk, niet met de demo uit de lanceringsvideo.
- Kies een leverancier ook op openheid over wijzigingen, niet alleen op de beste demo van deze maand.
Hoe het technisch in elkaar zit
Een model is in essentie een bestand met gewichten. Het gedrag dat jij ziet, komt uit de hele keten eromheen: de effort-instelling, de systeemprompt en harness-instructies van de leverancier, de routering naar een ander model en de applicatie. Bouw je zelf op een API, log dan bij elke aanroep het model-ID, de effort-instelling en een versie van je prompt en systeeminstructies, en controleer of het model in het antwoord hetzelfde is als het model dat je aanvroeg.
Dit nieuws raakt hoofdstuk 11, 22 en 24 van de cursus Alles of (n)iets met AI van Newway. Volg je de cursus, dan komt dit onderwerp daar in meer rust terug.
Wat je hiermee kunt
Wil je weten wat dit voor jouw bedrijf betekent? Plan een kennismaking: een half uur, geen verkooppraatje, wel een eerlijk antwoord op de vraag waar je moet beginnen. Liever eerst zelf verder lezen? De cursus Alles of (n)iets met AI is gratis en begint bij de basis.
Geschreven naar aanleiding van een publicatie van Nate Herk (YouTube).
S.O.S