Taalmodellen zijn uitstekende assistenten, maar onbetrouwbare automatiseerders. Dat is de stelling van Diogo Almeida van TypeSafe AI. Wil je een taak automatiseren, stel dan eerst de vraag wat een fout kost die niemand ziet, en waar een mens of een vaste controle blijft meekijken.
Wat Almeida zegt
Almeida sprak op CODE Summit 2026; de talk staat sinds 15 november op het YouTube-kanaal van AI Engineer. Hij zegt zelf mede aan de basis te staan van ChatGPT en RLHF, de trainingsmethode waarbij mensen de antwoorden van een model beoordelen. Zijn bedrijf werkt aan een eigen model, Jev, dus hij heeft ook een belang bij zijn verhaal.
Assisteren en automatiseren zijn twee verschillende taken
- AI blinkt uit waar een mens het resultaat beoordeelt, zoals bij Deep Research. Moet het antwoord correct zijn in plaats van goed geschreven, dan kies je volgens hem toch voor een mens.
- Tegelijk mislukt volgens hem elk jaar wel een poging om iets eenvoudigs als een drive-in te automatiseren.
- Zijn verklaring: RLHF traint modellen om mensen tevreden te stellen. Dat maakt een goede assistent, maar zegt niets over een taak correct afmaken.
- Volgens hem zijn alle taalmodellen van nu daarop geoptimaliseerd. Die stelling onderbouwt hij in de talk niet.
Einstein of Mr. Bean
Zijn beeld: je krijgt 95 procent van de tijd Einstein en 5 procent Mr. Bean. Kun je niet zien welke van de twee je hebt, dan kun je niets automatiseren. Die betrouwbaarheid zie je volgens hem niet terug in benchmarks.
Wij vinden: een slim antwoord is nog geen betrouwbaar proces. Daarom ontwerp je eerst het proces en bepaal je daarna pas waar AI een rol krijgt.
Wat dit betekent voor jouw organisatie
De stelling van Almeida is een standpunt, geen vastgesteld feit. De vraag die hij oproept, is wel bruikbaar bij elke taak die je wilt automatiseren:
- Bij een concept voor een offerte of een samenvatting van een overleg leest een collega mee. Daar is AI als assistent op zijn plek.
- Bij facturen, orders of betalingen ziet niemand een fout op tijd, en wordt hij duur. Daar hoort een mens of een vaste controle in de lus.
Wat je nu doet
- Zet de taken op een rij die je met AI wilt laten draaien, met per taak wie het resultaat nog ziet voordat het gevolgen heeft.
- Bepaal per taak wat een onopgemerkte fout kost. Is dat veel, laat AI dan een voorstel doen en laat een collega of een vaste regel beslissen.
- Knip een grote taak op in stappen die je kunt controleren, in plaats van één agent die alles in één keer doet.
Hoe het technisch in elkaar zit
De HF in RLHF staat voor human feedback. Daarom vraagt AI van nu volgens Almeida altijd een mens in de lus, ook bij taken die makkelijk te controleren zijn: dan kijkt die mens achteraf. Zijn voorstel is om AI een beslissing te laten nemen en de uitvoering daarna aan gewone code over te laten, want code is volgens hem de taal van automatisering. Verder pleit hij voor degelijk softwarewerk: taken opknippen, tussenstappen die je kunt verifiëren, en de toestand van een proces zelf bijhouden in plaats van alles aan het geheugen van het model over te laten.
Dit nieuws raakt hoofdstuk 19, 22 en 23 van de cursus Alles of (n)iets met AI van Newway. Volg je de cursus, dan komt dit onderwerp daar in meer rust terug.
Wat je hiermee kunt
Wil je weten wat dit voor jouw bedrijf betekent? Plan een kennismaking: een half uur, geen verkooppraatje, wel een eerlijk antwoord op de vraag waar je moet beginnen. Liever eerst zelf verder lezen? De cursus Alles of (n)iets met AI is gratis en begint bij de basis.
Geschreven naar aanleiding van een publicatie van AI Engineer (YouTube): https://www.youtube.com/watch?v=Cyt3LU8TyNc
S.O.S