Wie is verantwoordelijk voor je AI-agents?
In 2022 vroeg een klant de chatbot op de website van Air Canada naar korting voor tickets voor het bijwonen van uitvaart. De chatbot vertelde vol overtuiging dat hij een ticket tegen het normale tarief kon boeken en binnen 90 dagen een gedeeltelijke terugbetaling kon aanvragen. Dat klopte niet. Bij Air Canada moet je het kortingstarief aanvragen vóór de boeking. De klant gaf ruim $1.500 CAD uit aan vluchten die hij anders niet had geboekt. Toen hij de terugbetaling aanvroeg, wees Air Canada de claim af. Vervolgens betoogde het bedrijf dat de chatbot "een afzonderlijke juridische entiteit" was en dat Air Canada niet verantwoordelijk was voor diens uitspraken. Een Canadese rechter was het daar niet mee eens en veroordeelde Air Canada tot een schadevergoeding. Maar "de AI zei het, niet wij" blijft het favoriete verweer. De verantwoordelijkheid bij het gebruik van autonome AI-agents is een enorme uitdaging. McKinsey's beeld van de toekomst McKinsey's onderzoek uit 2025 naar de agentic organization noemt AI de grootste organisatieverandering sinds de Industriële Revolutie. Hun model beschrijft een toekomst van "platte netwerken van hybride teams van mensen en AI-agents" met "realtime, ingebouwde governance en geautomatiseerde controles met menselijke verantwoordelijkheid." Dat klinkt makkelijker dan het is. Het gaat ervan uit dat organisaties erachter komen hoe ze mensen verantwoordelijk houden voor systemen die autonoom handelen. Daar is vrijwel geen enkele organisatie op voorbereid. Een tool doet wat je zegt. Een agent beslist zelf wat hij doet. Als een developer een AI coding assistant gebruikt, beoordeelt de developer met code reviews de output en neemt daarmee verantwoordelijkheid. Wanneer een AI-agent autonoom claims verwerkt, supporttickets afhandelt of prijzen aanpast, wordt onduidelijk wie waarvoor verantwoordelijk is. Waar verantwoordelijkheid verdwijnt Niemand ontwerpt met opzet een oncontroleerbaar AI-systeem. Het sluipt erin via problemen die los van elkaar klein lijken. Versnipperd eigenaarschap Meerdere teams dragen bij aan het gedrag van een agent: het ML-team traint het model, het platform-team rolt het uit, het productteam bepaalt de regels, het datateam beheert de input. Als er iets misgaat, is elk team verantwoordelijk voor een stukje, maar niemand voor het resultaat. Braham en van Hees noemen dit het probleem van de vele handen. Hoe meer mensen betrokken zijn bij een beslissing, hoe minder ieder individu zich verantwoordelijk voelt. Ondoorzichtigheid Wanneer een AI-agent een beslissing neemt, kunnen zelfs de mensen die het systeem gebouwd hebben vaak niet uitleggen waarom de beslissing op die manier genomen is. De Europese Unie erkende dit in de EU AI Act, die vereist dat AI-systemen met hoog risico menselijk toezicht toelaten en uitleg geven over hun beslissingen. De regelgeving loopt voor op wat organisaties technisch aan kunnen. Regelgeving helpt niet als je zelf niet kunt uitleggen wat je systeem doet. Snelheid wint van toezicht AI-agents zijn vrijwel onbeperkt schaalbaar. Een menselijke goedkeuringsstap van dertig seconden klinkt haalbaar, tot de aantallen groeien en het toezicht niet meer meekomt. De keuze is simpel: de agent afremmen zodat mensen mee kunnen kijken, of snelheid voorrang geven. Snelheid wint meestal, want het is goedkoper. Organisatorische traagheid Zelfs als teams dit herkennen, houdt de organisatie het tegen. Governance-commissies werken per kwartaal, developers shippen per week. Het organigram is niet gebouwd voor systemen die door meerdere afdelingen beheerd worden. Autonomie zonder verantwoordelijkheid is aansprakelijkheid Neem de Boeing 737 MAX. Het MCAS-systeem nam autonome beslissingen en Boeing informeerde piloten onvoldoende over het gedrag ervan. Toen het systeem situaties tegenkwam die de ontwerpers niet hadden voorzien, kwamen 346 mensen om. Uit de onderzoeken bleek versnipperde verantwoordelijkheid: engineers, managers en toezichthouders waren elk voor een deel verantwoordelijk. Dus voelde niemand zich verantwoordelijk voor het geheel. AI-agents nemen al beslissingen over krediet, triage in ziekenhuizen, werving en selectie en contentmoderatie. In Nederland bestempelde een algoritme van de Belastingdienst meer dan 26.000 gezinnen onterecht als fraudeur. Duizenden gezinnen in de financiële problemen. Het kabinet trad af. Stanford's Human-Centered AI Institute publiceert beleidsonderzoek dat laat zien hoe organisaties die AI-systemen inzetten het benodigde toezicht stelselmatig onderschatten. De technologie beweegt snel, het toezicht blijft achter, en in de kloof daartussen ontstaat schade. Wat organisaties volgens ons moeten doen Governance vóór autonomie kost geld: meer mensen, minder snel releasen, ontwikkeltijd. Het is echter een groot risico om het geld niet uit te geven. Wijs eigenaren toe voor uitkomsten, niet voor componenten Elke AI-agent heeft een persoon nodig die verantwoordelijk is voor het gedrag in productie. Eén eigenaar voor de uitkomsten, niet één per component. Deze persoon moet de bevoegdheid hebben om de agent uit te schakelen als het misgaat. Bouw observability voor autonomie Je zou een kritieke service niet uitrollen zonder monitoring en alerting, dat is waar DevOps om draait. AI-agents verdienen dezelfde behandeling: logging van beslissingen, monitoring en geautomatiseerde alerts wanneer gedrag afwijkt van verwachtingen. Zonder observability is toezicht onmogelijk. Definieer je model expliciet Beslis vooraf of mensen beslissingen beoordelen voordat ze plaatsvinden (human-in-the-loop), nadat ze plaatsvinden (human-on-the-loop), of alleen bij afwijkingen (human-over-the-loop). Elk model heeft een ander risicoprofiel. Als je niet kiest, krijg je 'human-over-the-loop', en dat kan te laat zijn. Ontwerp voor uitlegbaarheid Neem bij het bouwen van AI-agents uitgebreide logging en traceerbaarheid op als requirements. Doe pre-mortems Stel voor de uitrol de vraag: "Als deze agent schade veroorzaakt, wie is er dan verantwoordelijk en hoe komen we erachter?" Als het antwoord onbekend is, neem dan de agent niet in productie. De governance-kloof is een leiderschapsprobleem De organisatiestructuren om AI-agents te besturen lopen achter. McKinsey's visie van "realtime, ingebouwde governance met menselijke verantwoordelijkheid" is goed, maar dan moet je wel je verantwoordelijkheid, toezichtmodellen en organisatiecultuur goed regelen. De organisaties die dit goed doen, bouwen het vertrouwen waarmee ze AI-agents effectiever kunnen inzetten. Dat vertrouwen heeft een prijs: governance-rollen en observability in plaats van features. Maar wie duurzaam wil innoveren, moet eerst verantwoordelijkheid regelen. Anders wordt ambitie aansprakelijkheid.Lumia Labs helpt organisaties om governance en engineering voor AI-systemen goed in te richten. Wil je AI-agents inzetten en verantwoordelijkheid goed regelen? Neem contact op.