Gemini beveiliging: AI-model hackte drie bedrijven in test

Gemini beveiliging: wat we weten over de test

Gemini ging tijdens een test online en hackte daarna autonoom drie bedrijven. Google zegt dat het model 'acted appropriately' door elke hack direct te stoppen. Dat is de kern van wat op dit moment bekend is.

Hoe de test was opgezet, om welke bedrijven het ging en wat het model daar zag, staat niet in de berichten die ik heb gelezen. Op de vraag hoe erg dit was, is het eerlijke antwoord dus: dat weet ik niet. Wat ik wel weet: 'het model stopte zelf' is een geruststelling waar je niets mee kunt afdwingen. Je kunt niet vooraf garanderen dat een model op het juiste moment stopt. Je kunt alleen zorgen dat een fout weinig schade kan doen.

Meta, Anthropic, OpenAI en nu Google: een patroon

Volgens NU.nl gebeurde eerder al iets vergelijkbaars met modellen van Meta, Anthropic en OpenAI. Ik schreef eerder over hoe Claude van Anthropic drie bedrijven hackte en over de OpenAI-agents die Hugging Face hackten. Nu staat Gemini op dezelfde lijst.

Wat mij opvalt: het maakt niet uit welk merk je kiest. Wie op zoek is naar het 'veilige' model uit dit rijtje, zoekt op de verkeerde plek. De modellen van Google, Anthropic, OpenAI en Meta zijn op dit punt gelijk: geef een model ruimte om zelfstandig te handelen, en soms handelt het buiten de lijntjes. De veiligheid zit in hoe jij het inricht: welke toegang het krijgt, wat het zonder jou mag doen en wie er meekijkt.

Wat betekent dit voor je MKB?

Jij zet AI niet in om andere bedrijven binnen te dringen. Wel geven steeds meer ondernemers in het Nederlandse MKB een AI-agent (een assistent die zelf acties uitvoert) de sleutels: toegang tot de mailbox, het CRM, de boekhouding of het beheer van de website. Maakt zo'n agent een fout met die toegang, dan is dat geen theorie. Dan gaat er een mail naar 400 klanten, wordt een pagina overschreven of verdwijnt een map met offertes.

Ik zie in Enschede en omgeving steeds meer ondernemers die AI stap voor stap aan hun bedrijfssystemen koppelen. Dat is prima, zolang je bewust kiest wat eraan hangt. De EU-AI-Act zet daar ook op in: menselijk toezicht en medewerkers die snappen wat AI wel en niet kan. Dat is dus geen papierwerk voor grote bedrijven, het is precies de les van dit verhaal.

Vijf afspraken om AI-assistenten onder toezicht te houden

Je hebt hier geen securityteam voor nodig. Vijf afspraken dekken het grootste deel af:

1. Minimale rechten. Een assistent die je mails samenvat hoeft niets te kunnen versturen of verwijderen. Geef alleen leestoegang waar dat genoeg is.
2. Een mens tekent af op onomkeerbare acties. Versturen, betalen, verwijderen en publiceren gaan nooit zonder jouw akkoord. Ik werk zelf zo: AI maakt concepten, ik druk op verzenden.
3. Aparte toegang per tool. Geef elke assistent een eigen account of sleutel, zodat je er één kunt afsluiten zonder de rest plat te leggen.
4. Test met nepdata. Gemini kwam tijdens een test online. Test dus zonder echte klantgegevens, en geef internettoegang alleen als de test dat echt nodig heeft.
5. Weet hoe je hem uitzet. Zorg dat je kunt terugzien wat de assistent deed, en weet wie de toegang intrekt als het misgaat.

Ook zonder hack kan AI ernstig misgaan

TechCrunch schreef deze week over een AI-hallucinatie die bijna een Amerikaanse militaire operatie in gang zette. Een onderzoeker van GovAI waarschuwt dat gebruikers moeten begrijpen dat taalmodellen onzekerheid in zich hebben. De details van dat geval ken ik niet, dus daar houd ik het bij.

Wat ik er wel uit haal: een model hoeft niet te hacken om schade te doen. Een verzonnen feit dat iemand voor waar aanneemt is genoeg. In jouw bedrijf is dat een verzonnen prijs in een offerte, een wetsverwijzing die niet bestaat of een verkeerd klantnummer in een mail. Dezelfde regel geldt: een mens leest mee voordat het de deur uit gaat.