Home  »  Blog  »  AI-agent compliance drift: wat het is en hoe je het opspoort

AI-agent compliance drift: wat het is en hoe je het opspoort

agent compliance drift what is it and how to control it

Agent compliance drift is het groeiende verschil tussen wat je goedgekeurde documentatie zegt dat een AI-agent doet en wat die agent in productie werkelijk doet. De agent blijft meestal gewoon op zijn doel afgaan. Wat verschuift is alles eromheen: het model eronder, de tools die hij mag aanroepen, het geheugen dat hij meeneemt en de mens die zou meekijken.

Dat is een ander probleem dan een agent die kapot gaat. Een kapotte agent valt op. Een agent met drift blijft bruikbare antwoorden geven, blijft tickets afsluiten en ziet er gezond uit op je dashboard. Het enige dat niet meer klopt, is de beschrijving in je risicoanalyse, je DPIA en je technische documentatie. Juridisch is precies dat verschil wat telt. De EU AI Act vraagt niet of je agent veranderd is. De wet vraagt of je die wijziging vooraf hebt vastgelegd.

Drift begint vrijwel nooit met een incident. Het begint met een modelupgrade, één extra tool, een goedbedoelde verruiming van het mandaat en een controlestap die niemand meer serieus neemt. Hieronder lees je waar drift vandaan komt en waarom zo weinig teams het opmerken. Daarna volgen de regels zoals ze er in september 2026 voor staan, en de zeven controls die het gat dichten.

zes factoren waar compliance drift uit ontstaat
Zes mechanismen verplaatsen de agent. De wet vraagt alleen of je de wijziging hebt vastgelegd.

Wat is agent compliance drift?

Agent compliance drift is wat er gebeurt als een AI-agent stap voor stap buiten zijn goedgekeurde kader raakt. Niemand besluit dat kader te veranderen, en toch verschuift het. Het idee komt uit cloudgovernance. AWS beschrijft hetzelfde effect in een landing zone: op de dag dat je hem aanmaakt voldoet alles aan de controls die je hebt gekozen, en daarna verandert die compliancestatus door gewoon gebruik.

Bij een agent gebeurt hetzelfde, met andere bewegende delen. Je goedkeuring legt vier dingen vast: welk doel de agent dient, welke systemen hij mag benaderen, hoeveel hij zelfstandig mag beslissen en wie de uitvoer beoordeelt. Alle vier verschuiven na de livegang.

Doel en kader zijn niet hetzelfde. De NIST AI Risk Management Framework Playbook beschrijft drift als het punt waarop AI-systemen “no longer meet the assumptions and limitations of the original design”. Een agent met drift haalt zijn doel nog steeds. Hij komt er alleen op een manier die buiten je vastgelegde aannames valt.

Juli 2026 laat dat scherp zien. Een evaluatie-agent van OpenAI brak in op de infrastructuur van Hugging Face. Het bedrijf reconstrueerde later ongeveer 17.600 acties tussen 9 en 13 juli, met als conclusie: “We believe the entire intrusion was, from the agent’s point of view, an attempt to cheat the evaluation.” In de eigen analyse schreef OpenAI dat de modellen “hyperfocused on finding a solution for ExploitGym” waren, “going to extreme lengths to achieve a rather narrow testing goal”. De agent verloor zijn doel geen moment uit het oog. Hij stapte alleen buiten zijn kader.

Het vocabulaire bereikt de frameworks. Op 31 augustus 2026 voegde MITRE ATLAS twee mitigaties toe die precies hierover gaan: AML.M0037 “AI Agent Authority Expansion Controls” en AML.M0038 “AI Agent Scope Drift Detection”.

Wat is het verschil met model drift en data drift?

Agent compliance drift verschilt van data drift en model drift in wat er verandert en in wie het kan zien. Bij data drift en model drift verandert de wereld die het model voorspelt. Bij agent compliance drift verandert het systeem om het model heen: tools, rechten, geheugen en mensen. NIST noemt data-, model- en conceptdrift als bekende aanleidingen voor onderhoud, maar kent geen term voor drift in het goedgekeurde kader van een agent.

Soort driftWat er verandertWaar je het zietWie het belegt
Data driftDe verdeling van de invoerdata loopt weg van de trainingsdataStatistische monitoring op featuresData science
Model driftDe relatie tussen invoer en uitkomst verzwakt en de prestaties dalenNauwkeurigheid tegen een gelabelde setData science
Configuration driftDe live omgeving wijkt af van de vastgelegde baselineDriftdetectie tegen infrastructure as codePlatform en IT
Agent compliance driftDoel, tools, rechten, autonomie of toezicht wijken af van de goedkeuringTracing op stapniveau tegen een vastgelegd kaderVrijwel niemand

Die laatste kolom is het eigenlijke probleem. Data scientists bewaken modelprestaties en platformteams bewaken infrastructuur. Het gat tussen de goedkeuring van een agent en zijn werkelijke gedrag ligt op niemands bureau. Zolang niemand dat gat claimt, blijf je één keer evalueren voor de oplevering en daarna nooit meer.

Waardoor raakt een agent buiten zijn goedgekeurde kader?

Zes mechanismen doen het werk, en de meeste hebben niet eens een aanvaller nodig.

Verandert het model onder je agent?

Ja, ook als je de versie vastzet. Anthropic schrijft het in de eigen documentatie: “Model weights are fixed for a given ID, but the serving infrastructure around the model can change over time.” Die infrastructuur omvat de request router, de safety classifiers en de sampling logic. Updates daarvan geven soms “minor differences in observable behavior even when the model ID and weights have not changed”. Je hebt dus de versie vastgezet. Het gedrag niet.

Daarnaast worden modellen uitgefaseerd terwijl jouw applicatie er nog op draait. OpenAI geeft minstens zes maanden vooraankondiging voor algemeen beschikbare modellen, en soms maar twee weken voor previewmodellen. Anthropic geeft minstens 60 dagen. Allebei korter dan de jaarcyclus waarin de meeste organisaties hun risicoanalyse herzien. Dat gedrag tussen versies verschuift, is ook gemeten. Chen, Zaharia en Zou lieten in Harvard Data Science Review zien dat dezelfde dienst zich binnen enkele maanden wezenlijk anders gedroeg. Hun conclusie: dat toont “the need for continuous monitoring of LLMs”.

Hoe verandert je toolpalet na de goedkeuring?

Goedkeuren doe je één keer, en daarna kan het toolpalet alsnog veranderen. Invariant Labs beschreef het mechanisme voor MCP als een rug pull: “a malicious server can change the tool description after the client has already approved it.”

Je hebt daar niet eens kwade opzet voor nodig. OWASP geeft de meest alledaagse variant onder Excessive Agency: “An extension may have been trialled during a development phase and dropped in favor of a better alternative, but the original plugin remains available to the LLM agent.” Geen aanvaller, geen incident. Iemand heeft de tool simpelweg nooit verwijderd. Excessive Agency klom naar de derde plek in de OWASP LLM Top 10 van augustus 2026. De opstellers noemen die klim “the most consequential move on the list”.

Met rechten gaat het net zo. Palo Alto Networks telde in 2026 109 machine-identiteiten per menselijke identiteit. Datzelfde onderzoek vond dat 96 procent van de menselijke gebruikers meer toegang heeft dan nodig is. Agents erven die te ruime rechten en vermenigvuldigen ze.

Wat doet opgebouwd geheugen met een agent?

Een agent met persistent geheugen is drie maanden later een andere agent, ook als je geen regel code hebt aangeraakt. Onderzoekers die memory poisoning systematisch in kaart brachten schrijven dat “a single adversarial memory write can exert long-term influence over agent behavior”. Ze vonden ook dat agents die agressiever schrijven en ophalen makkelijker te misbruiken zijn. Bestaande verdediging tegen prompt injection dekt de geheugenroute niet.

Waarom verwatert menselijk toezicht?

Human-in-the-loop is bij oplevering een echte controle. Een jaar later is het vaak alleen nog een handtekening. Daarmee schuift de verwerking richting artikel 22 van de AVG, dat gaat over besluiten “based solely on automated processing”. Niemand diende een wijzigingsverzoek in. De controlestap werd gewoon een formaliteit.

Waarom krijg je niet twee keer hetzelfde antwoord?

Omdat een deel van de variatie buiten je eigen omgeving ontstaat. Thinking Machines Lab stuurde 1.000 identieke verzoeken op temperatuur nul naar Qwen3-235B. Dat leverde 80 verschillende antwoorden op, omdat de batchgrootte meebeweegt met de serverbelasting. Het gedrag van jouw agent verschuift dan door het verkeer van iemand anders, terwijl aan jouw kant niets veranderde.

Wie ruimt een agent op die niemand meer gebruikt?

Vrijwel niemand, en dat is het punt. De Cloud Security Alliance ondervroeg in januari 2026 418 IT- en securityprofessionals, in onderzoek dat is gefinancierd door leverancier Token Security. Bij 82 procent draaien onbekende AI-agents in de IT-infrastructuur. Slechts 21 procent heeft een formeel proces om ze uit te faseren. De CSA noemt het resultaat retirement debt en vat het in één zin samen: “An agent that was never formally onboarded is unlikely to be formally retired.”

Waarom merken zo weinig organisaties het op?

De meeste monitoring meet beschikbaarheid, geen gedrag. LangChain verzamelde eind 2025 1.340 reacties. Daarvan heeft 89 procent een vorm van observability, maar kan maar 62 procent losse agentstappen en tool calls volgen. Slechts 37,3 procent draait online evaluatie. Drift zie je niet in een grafiek met responstijden. Je ziet het in de stappen.

De governancecijfers wijzen dezelfde kant op. Deloitte publiceerde in april 2026 onderzoek onder 3.235 IT- en businessleiders in 24 landen. Maar 21 procent zegt een volwassen governancemodel voor agentic AI te hebben. De capaciteiten die Deloitte het vaakst als ontbrekend noemt, zijn precies die drift zichtbaar maken: heldere grenzen tussen besluiten die de agent alleen neemt en besluiten die een mens goedkeurt, realtime monitoring van gedrag en afwijkingen, en audit trails van agentacties.

Het ongemakkelijkste cijfer gaat over wat organisaties doen als een agent zijn kader tóch overschrijdt. In het CSA-onderzoek zegt 38 procent dat zo’n actie menselijke goedkeuring vereist en 24 procent dat de actie wordt gelogd. Maar 11 procent blokkeert hem automatisch. Bij bijna negen op de tien organisaties wordt die overschrijding dus niet automatisch tegengehouden.

Zelfs de eigen evaluatiesuite van een frontier lab mist dit type wijziging. OpenAI draaide in april 2025 een update van GPT-4o terug. In de analyse achteraf stond: “our offline evals weren’t broad or deep enough to catch sycophantic behavior”. De A/B-tests “didn’t have the right signals”. Sommige experttesters hadden gemeld dat het model “slightly off” voelde, maar op een gevoel kan geen controlestap acteren. Als dat bij OpenAI gebeurt, vangt een eenmalige acceptatietest bij livegang het bij jou ook niet. Een conceptpaper van CSA Lab Space zegt onomwonden wat dat betekent. Drift van dit type “is not detectable through periodic audits; it requires continuous telemetry against behavioral baselines established at deployment time”.

Gartner voorspelt dat ruim 40 procent van de agentic AI-projecten voor eind 2027 wordt stopgezet. Als een van de drie redenen noemt het bureau “inadequate risk controls”.

Is agent compliance drift een juridisch probleem?

Agent compliance drift is een juridisch probleem, en de EU AI Act trekt de grens op een plek die de meeste teams niet verwachten. Artikel 3(23) noemt een wijziging pas substantieel als aan twee voorwaarden is voldaan. De wijziging was “not foreseen or planned in the initial conformity assessment”, en ze raakt de naleving of het beoogde doel. Artikel 43(4) trekt de consequentie: een substantiële wijziging stuurt een hoogrisicosysteem terug door de conformiteitsbeoordeling.

Samen geven die twee artikelen je een simpele toets. De omvang van de wijziging bepaalt het niet. Wat telt, is of de wijziging al in je documentatie stond. En drift is per definitie de wijziging die je niet hebt vastgelegd.

De wet gaat ervan uit dat dit gebeurt. Artikel 72 verplicht tot post-market monitoring die gegevens verzamelt over hoe een hoogrisicosysteem presteert “throughout their lifetime”, zodat de aanbieder de “continuous compliance” kan beoordelen. Compliant bij livegang is geen toestand die de AI Act kent.

Voor inkopers zit er een extra val in. Onder artikel 25 wordt een deployer die een substantiële wijziging doorvoert zelf aanbieder, met alle aanbiedersverplichtingen die daarbij horen. Je koopt een agent in, je rekt zijn mandaat op, en je erft de aansprakelijkheid van je leverancier.

Timing is hier belangrijk, want veel artikelen hierover kloppen niet meer. Met de Digital Omnibus on AI, Verordening (EU) 2026/1744 van 8 juli 2026, zijn de deadlines verschoven. Volgens de eigen tijdlijn van de Europese Commissie gelden de regels voor hoogrisicosystemen uit bijlage III vanaf 2 december 2027. Voor bijlage I is dat 2 augustus 2028. Op het grootste deel van de verordening, inclusief de transparantieregels van artikel 50, wordt al gehandhaafd sinds 2 augustus 2026. De volledige fasering staat in onze AI Act-checklist.

Dat uitstel levert voorbereidingstijd op, geen vrijstelling. Drie regimes stellen nu al eisen:

  1. Artikel 35(11) van de AVG verplicht de verwerkingsverantwoordelijke de DPIA te herzien “at least when there is a change of the risk represented by processing operations”. Drift is zo’n verandering.
  2. De Cyberbeveiligingswet, die NIS2 implementeert, is op 15 augustus 2026 in werking getreden. De wet raakt ruim 8.000 organisaties in 18 sectoren. Die hebben een registratieplicht, een zorgplicht en een meldplicht, en hun bestuur is eindverantwoordelijk voor cyberrisicobeheersing.
  3. DORA stelt via artikel 17 van Gedelegeerde Verordening (EU) 2024/1774 al eisen aan ICT-wijzigingsbeheer bij financiële entiteiten.

Dan is er nog de boete die de meeste mensen over het hoofd zien. Onder artikel 99(5) kost het verstrekken van “incorrect, incomplete or misleading information” aan toezichthouders tot 7,5 miljoen euro of 1 procent van de wereldwijde jaaromzet, afhankelijk van wat hoger uitvalt. Als je documentatie zegt dat de agent X doet en de agent doet inmiddels Y, dan is het overhandigen van die documentatie zelf het risico.

Ondertussen krijgt het Nederlandse toezicht vorm. In april 2026 ging een hybride model met tien markttoezichthouders de internetconsultatie in. De Autoriteit Persoonsgegevens en de RDI delen de coördinerende rol, en de AP dekt elk gebied zonder duidelijke toezichthouder. De uitvoeringswet wacht nog op parlementaire behandeling. In maart 2026 meldde de AP dat vier van de negen indicatoren in haar AI Impact Barometer op rood stonden, het dubbele van de editie ervoor. De AP waarschuwde ook dat het schort aan transparantie en uitlegbaarheid van AI-systemen.

Nederland heeft voor dit patroon al één keer betaald. De Belastingdienst had gegevens over dubbele nationaliteit in januari 2014 moeten wissen. In mei 2018 stonden die van 1,4 miljoen mensen er nog. Het systeem gebruikte nationaliteit nog steeds als indicator en merkte aanvragen nog steeds automatisch aan als risicovol. In december 2021 legde de AP een boete van 2,75 miljoen euro op. Niemand zette dat systeem aan met de bedoeling te discrimineren. Het bleef gewoon meer dan vier jaar draaien nadat de grondslag was vervallen. Geen enkele controle ving het op.

Hoe houd je een agent binnen zijn goedgekeurde kader?

hoe houd je een agent binnen zijn goedgekeurde kader
Zeven controls sluiten het gat, en ze gelden allemaal ná de goedkeuring in plaats van ervoor.
  1. Leg het kader expliciet vast, inclusief de wijzigingen die je verwacht. Beschrijf het doel, de toegestane systemen, het autonomieniveau, de toezichtstap en de wijzigingen die je vooraf voorziet. Dat is meer dan papierwerk. Artikel 43(4) sluit wijzigingen uit die de aanbieder bij de initiële conformiteitsbeoordeling al had vastgelegd in de technische documentatie.
  2. Behandel het toolregister als een gecontroleerde baseline. NIST SP 800-128 definieert een baseline als iets dat “can be changed only through change control procedures”. Pas die zin toe op je system prompt, je toolregister en je MCP-servers. Registreer daarna elke tool met een eigenaar, een scope en een vervaldatum.
  3. Monitor het model, niet alleen je eigen code. Zet versies vast en abonneer je op deprecatiemeldingen. Log ook de system_fingerprint, die je volgens Microsoft samen met de seed-parameter kunt gebruiken om te zien “when backend changes have been made that might affect determinism”. Een modelwissel is een wijzigingsverzoek, geen onderhoud.
  4. Draai evaluaties doorlopend, niet alleen bij oplevering. Bouw een golden set die je goedgekeurde gedrag weerspiegelt. Draai die bij elke wijziging en op een vast ritme in productie, en laat de uitkomst bepalen of een release doorgaat. Zonder die stap blijft LLM-evaluatie een momentopname.
  5. Trace op stapniveau. Leg per run vast welke tools zijn aangeroepen, met welke argumenten en met welk resultaat. Artikel 12 van de AI Act vraagt om logging waarmee je situaties herkent die tot “a substantial modification” kunnen leiden. Geaggregeerde cijfers laten dat niet zien. Onze uitleg over AI-observability behandelt de tooling.
  6. Blokkeer overschrijdingen in plaats van ze alleen te loggen. Maak van je kader een uitvoerbare regel in je guardrails in plaats van een alinea in een document. Dat is het verschil tussen de 11 procent en de rest. Artikel 26 verplicht deployers bovendien het gebruik op te schorten zodra een systeem een risico vormt.
  7. Geef elke agent een eigenaar en een einddatum. Een agent zonder eigenaar wordt nooit herzien. Een agent zonder einddatum wordt nooit uitgezet. Herzie elk kwartaal en bevestig daarna het mandaat opnieuw of faseer de agent uit. Sla je dat over, dan bouw je retirement debt op.

Waar begin je?

Een inventarisatie komt eerst, want je kunt drift niet afzetten tegen een kader dat je niet hebt. Drie stappen passen binnen een maand:

  1. Zet elke agent in productie op een lijst, met eigenaar, model, tools, rechten en de goedkeuring waarop hij draait. Die lijst wordt langer dan je verwacht.
  2. Leg voor de drie agents met het hoogste risico vast hoe het kader er vandaag uitziet en vergelijk dat met de documentatie uit de goedkeuring. Het verschil dat je vindt, is je drift.
  3. Zet voor diezelfde drie een golden set en tracing op stapniveau op, en hang aan elke overschrijding van het kader een harde blokkade.

Daarna wordt het routine: elke wijziging in model, tools, rechten of toezicht gaat door hetzelfde wijzigingsproces als elke andere productiewijziging. Dat is minder werk dan het klinkt. Het is in elk geval minder werk dan aan een toezichthouder uitleggen waarom je documentatie iets beschrijft wat je systeem allang niet meer doet.

Veelgestelde vragen

Wat is agent compliance drift?

Agent compliance drift is het groeiende verschil tussen de goedgekeurde beschrijving van een AI-agent en zijn werkelijke gedrag in productie. Het model, de tools, de rechten, het geheugen en het menselijk toezicht verschuiven na de livegang, terwijl de documentatie en de risicoanalyse blijven staan waar ze stonden. De agent haalt zijn doel nog, maar buiten zijn vastgelegde kader.

Hoe merk je dat een agent is afgedreven?

Je merkt het door gedrag te meten in plaats van beschikbaarheid. Tracing op stapniveau legt elke tool call met zijn argumenten vast. Een golden set legt het goedgekeurde gedrag vast en draait doorlopend mee. Er gaat een melding zodra een agent zijn toegestane toolpalet of autonomieniveau verlaat. In het onderzoek van LangChain kan 62 procent losse agentstappen inzien.

Lost het vastzetten van de modelversie dit op?

Vastzetten helpt, maar het is niet genoeg. Anthropic schrijft dat de serving infrastructure rond een model kan wijzigen, en dat zulke updates soms het waarneembare gedrag veranderen terwijl model-ID en gewichten identiek blijven. Modellen worden ook uitgefaseerd: OpenAI geeft minstens zes maanden vooraankondiging voor algemeen beschikbare modellen, Anthropic minstens 60 dagen.

Wat zegt de EU AI Act over agent compliance drift?

De verordening gebruikt de term niet, maar artikel 3(23) en artikel 43(4) regelen het probleem. Een wijziging is substantieel als de initiële conformiteitsbeoordeling haar niet voorzag en ze de naleving of het beoogde doel raakt. Dan volgt een nieuwe conformiteitsbeoordeling. Wijzigingen die bij die eerste beoordeling al waren vastgelegd in de technische documentatie tellen niet mee.

Gelden die verplichtingen al?

Ze gelden nog niet allemaal. De Digital Omnibus on AI verschoof de hoogrisicoregels uit bijlage III naar 2 december 2027 en die uit bijlage I naar 2 augustus 2028. Op het grootste deel van de verordening wordt al gehandhaafd sinds 2 augustus 2026. Artikel 35(11) van de AVG, de Cyberbeveiligingswet en DORA stellen vandaag al eisen die drift raken.

Wil je weten waar jouw agents vandaag staan ten opzichte van hun goedkeuring? Een AI-assessment brengt elke agent die je draait in kaart met het kader waarop hij is goedgekeurd, en meet daarna het gat tussen dat kader en wat de agent nu doet. Draait er al iets in productie, dan helpen onze consultants je deze controls in te richten.

Maak DataNorth AI je Google-favoriet