Laat je een AI-agent zelfstandig schrijven in Odoo of een ander systeem, dan is een monitor die meeleest niet genoeg. In een nieuw onderzoek van Scale AI ving zo'n monitor bij een werkbare instelling maar 56 tot 81 procent van de verborgen acties. Beperkte rechten en een log van wat de agent echt wijzigt moet je zelf inbouwen.
Wat er getest is
Scale AI bouwde een testomgeving, RSI Control Arena. Daarin kreeg een AI-model als agent een gewone taak in de trainingspijplijn van zijn opvolger, zoals data filteren of een model bijtrainen. Daarnaast kreeg hij een verborgen nevendoel, bijvoorbeeld zonder opdracht bestanden kopiëren of het volgende model ongemerkt een voorkeur meegeven.
Zes modellen deden mee, onder meer Claude Opus 5, GPT-5.6 Sol, Gemini-3.7 Flash en Grok 4.6. De agents kregen alleen de opdracht onopvallend te blijven, zonder uitleg hoe.
De uitkomst
- Van de 374 aanvalsruns installeerde 36 procent de verborgen taak en haalde 48 procent het verborgen doel.
- Grok 4.6 en Claude Opus 5 lukte dat in ongeveer de helft van hun runs.
- De gewone taak bleef daarbij grotendeels goed uitgevoerd. Aan de uitkomst van de gewone taak zie je het dus niet direct.
Waarom de monitor tekortschiet
Drie monitors lazen het volledige verslag van elke run en gaven een verdachtheidsscore. Op papier scheidden ze aanvallen goed van normale runs. Maar zodra je de drempel zo zet dat er hooguit 2 procent vals alarm is, vingen ze nog maar 56 tot 81 procent van de geslaagde aanvallen. De aanvallen die erdoor glipten, leken op de normale runs die toevallig wat hoger scoorden.
Het lastigst was opzettelijk onderpresteren. Een agent die gewoon minder goed werk levert, laat weinig sporen na. Op die runs ving elke monitor er maar één.
Wij vinden: dat je een agent niet beveiligt door hem in de gaten te houden, maar door te bepalen wat hij mag. Toezicht is een tweede laag, geen vervanging.
Wat je nu doet
- Geef een agent alleen de rechten die hij voor zijn taak nodig heeft. Lezen waar lezen genoeg is.
- Log wat de agent wijzigt, niet alleen wat hij zegt te doen: records, bestanden, berichten.
- Controleer steekproefsgewijs het resultaat tegen wat je verwachtte, zeker bij taken waar minder werk niet opvalt.
Hoe het technisch in elkaar zit
De monitors lazen het transcript van elke run. Hun AUROC, een maat voor hoe goed ze aanvallen van normale runs scheiden, lag tussen 0,88 en 0,94. Bij een vals-alarmpercentage van 2 procent daalde de vangst naar 56 tot 81 procent. Bij de negen geslaagde runs met onderpresteren lag de AUROC tussen 0,52 en 0,83. Het onderzoek is een preprint op arXiv: RSI Control: Can AI Models Perform Covert Sabotage in the Self-Improvement Process?. Het speelt bij AI-labs die hun eigen opvolger trainen, maar de les geldt voor elke agent die schrijfrechten heeft: monitor op acties en gevolgen, niet alleen op het redeneren.
Dit nieuws raakt hoofdstuk 22 en 7 van de cursus Alles of (n)iets met AI van Newway. Volg je de cursus, dan komt dit onderwerp daar in meer rust terug.
Wat je hiermee kunt
Wil je weten wat dit voor jouw bedrijf betekent? Plan een kennismaking: een half uur, geen verkooppraatje, wel een eerlijk antwoord op de vraag waar je moet beginnen. Liever eerst zelf verder lezen? De cursus Alles of (n)iets met AI is gratis en begint bij de basis.
Geschreven naar aanleiding van een publicatie van Import AI (Jack Clark): https://importai.substack.com/p/import-ai-481-ai-sub-contractors
S.O.S