AI-hallucinaties: dit kost advocaat 5000 dollar boete

Wat gebeurde er precies in New Mexico

Het Hooggerechtshof van New Mexico (de New Mexico Supreme Court) strafte advocaat Stephen Aarons met een boete van 5000 dollar en hield hem in contempt of court (minachting van de rechtbank), meldt Reuters. Aarons diende een beroepschrift in voor de moordzaak van zijn cliënt. Daarin stonden getuigen die niet bestaan en verklaringen van politieagenten die nooit zijn afgelegd.

Volgens de uitspraak had Aarons zijn beroepschrift grotendeels met AI laten schrijven, vermoedelijk met ChatGPT van OpenAI, en de feitelijke claims en juridische bronnen niet geverifieerd voordat hij het indiende. Dat laatste is precies waar het misging: niet het gebruik van AI zelf, maar het overslaan van de controle.

Waarom dit ook jouw bedrijf kan overkomen

Je bent waarschijnlijk geen advocaat en je stuurt geen beroepschriften naar een rechtbank. Maar de kans is groot dat je wel ChatGPT, Claude of Copilot gebruikt voor offertes, contracten, personeelsdossiers of klantcommunicatie. En AI verzint net zo makkelijk een niet-bestaand wetsartikel, een leverancier, een referentie of een contractclausule als een getuige in een moordzaak.

De risico's worden bovendien groter, niet kleiner. Slack lanceerde deze week Slackforce Surfaces, waarmee AI zelf dashboards en rapporten bouwt uit je bedrijfsgegevens. OpenAI deed iets vergelijkbaars met de nieuwe Data agent in ChatGPT Work: AI die inzichten haalt uit je eigen data en er meteen een dashboard van maakt. Handig, maar het betekent ook dat een fout niet meer in een los Word-document blijft hangen. Hij landt direct in een rapport waarop je een beslissing baseert.

Zorgplicht, AVG en de EU-AI-Act: wat de regels zeggen

Als ondernemer heb je een zorgplicht naar je klanten. Gebruik je AI om persoonsgegevens te verwerken of erover te rapporteren, denk aan klantdossiers of personeelsgegevens, dan raakt dat direct aan de AVG. Fouten die AI erin verzint, blijven jouw verantwoordelijkheid, niet die van OpenAI of Anthropic.

De EU-AI-Act verplicht bij risicovolle toepassingen menselijk toezicht op AI-beslissingen. De meeste MKB-toepassingen vallen niet in de hoogste risicocategorie, maar het uitgangspunt, een mens blijft controleren en verantwoordelijk, geldt voor de Nederlandse MKB-realiteit net zo goed als voor een advocatenkantoor in New Mexico. Rechters straffen nu al professionals die dat overslaan; het is een kwestie van tijd voor toezichthouders en verzekeraars in Nederland hetzelfde doen.

Zo voorkom je dit in je eigen bedrijf

Je hoeft AI niet de deur uit te doen, dat zou zonde zijn. Wel moet je de controle organiseren voordat het misgaat. Vijf stappen die dat praktisch maken:

• Verstuur nooit AI-output ongelezen naar een klant, leverancier of overheidsinstantie.
• Laat AI zijn bronnen noemen en check die bronnen zelf, ook als het antwoord overtuigend klinkt.
• Wijs één persoon per document aan die verantwoordelijk is voor de eindcontrole.
• Leg in een kort AI-beleid vast wanneer AI wel of niet zelfstandig extern mag communiceren.
• Neem vijf minuten de tijd om een AI-concept hardop voor te lezen voordat het verstuurd wordt.