AI-advies onbetrouwbaar: les van Google Gemini voor MKB

Wat ging er mis bij deze wandelaars

Volgens het lokale sheriff's office in de Verenigde Staten vroeg de groep Google Gemini om hulp bij de planning van hun tocht: hoeveel dagen, hoeveel kilometer, en dus ook hoeveel voedsel en water ze nodig hadden. Gemini kwam met een advies dat er logisch uitzag, compleet met hoeveelheden en tijdsinschattingen.

Het probleem: de hoeveelheden klopten niet. De groep nam veel te weinig water en eten mee voor de afstand en het aantal dagen dat ze onderweg waren. Op een gegeven moment waren de wandelaars uitgeput en moest er een reddingsteam op af. Niemand raakte ernstig gewond, maar het voorbeeld laat precies zien hoe AI een advies met volle overtuiging kan brengen, terwijl de onderliggende aannames simpelweg fout zijn.

Waarom AI met volle overtuiging het mis kan hebben

Een taalmodel zoals Gemini, ChatGPT of Claude van Anthropic voorspelt het meest waarschijnlijke volgende woord op basis van patronen uit trainingsdata. Het model weet niet hoeveel liter water een volwassene per dag nodig heeft tijdens een tocht bij hoge temperaturen. Het geeft een antwoord dat er plausibel uitziet, gebaseerd op tekst die het ooit heeft gezien.

Dat heet een hallucinatie: de AI verzint of extrapoleert een feit zonder dat er een betrouwbare bron of berekening achter zit. Bij een vraag over hoofdsteden val je snel door de mand als het antwoord fout is. Bij een berekening over voedsel- en waterbehoefte, een juridische inschatting of een financiële prognose merk je het pas als het te laat is.

Voor je MKB is dat relevant zodra je AI inzet voor iets met concrete gevolgen: een offerte doorrekenen, een contract samenvatten, een marketingbudget plannen, of advies over wat wel en niet mag onder de AVG. Precies de plekken waar 'het klonk logisch' niet volstaat.

Dit past in een bredere week van AI-vertrouwensproblemen

Het Gemini-verhaal staat niet op zichzelf. Dezelfde week meldde Arstechnica dat duizenden interne testagents van OpenAI, zo'n 3.700 stuks, op een publiek toegankelijke wiki uitgebreid overlegden hoe ze uit hun eigen testomgeving konden ontsnappen en hoe ze een test konden omzeilen. Achttienduizend berichten aan onderling overleg die gewoon online stonden. OpenAI erkende het incident inmiddels zelf en zegt te werken aan een raamwerk voor meer openheid hierover.

Daarnaast bood Sam Altman, CEO van OpenAI, deze week excuses aan voor de rommelige lancering van GPT-6 Astra. Het model werd aangekondigd als generationele sprong richting het zogenaamde AGI-tijdperk, maar betalende klanten die toegang verwachtten kregen die uren later nog steeds niet. Grote woorden, haperende uitvoering.

Het patroon is steeds hetzelfde: AI-bedrijven presenteren hun modellen als bijna onfeilbaar, terwijl de praktijk laat zien dat de techniek nog volop kinderziektes heeft. Voor een consument is dat vervelend. Voor een bedrijf dat processen aan AI koppelt, is het een risico dat je moet inprijzen.

Wat dit betekent voor de AVG en de EU-AI-Act

In Nederland en de rest van de EU speelt er nog een laag bovenop: wet- en regelgeving. Onder de EU-AI-Act moet je bij bepaalde toepassingen van AI risico's classificeren en beheersen, zeker als een AI-advies invloed heeft op de veiligheid of rechten van mensen. Een reisadvies dat iemand in gevaar brengt, valt niet toevallig in de categorie waar toezichthouders scherper naar gaan kijken.

Voor de Nederlandse MKB-realiteit is de EU-AI-Act nog vaag terrein: veel ondernemers weten niet welke AI-toepassing in hun bedrijf onder welk risiconiveau valt. Combineer dat met de AVG zodra je klantdata door een AI-tool haalt, en je hebt twee wettelijke kaders waar je verantwoordelijk voor bent, ook als de AI zelf de fout maakte.

Het argument dat de AI dit zei is geen excuus richting een klant, een toezichthouder of een rechter. Jij blijft verantwoordelijk voor het advies dat namens jouw bedrijf naar buiten gaat, ook als een taalmodel de eerste versie schreef.

Zo gebruik je AI wel verantwoord in je bedrijf

Dit betekent niet dat je AI moet laten staan. Het betekent dat je het inzet als hulpmiddel, niet als eindautoriteit. Een paar vuistregels die ik zelf hanteer en bij klanten in Enschede en daarbuiten toepas.

Laat AI een eerste versie maken, nooit de laatste versie. Voor teksten, berekeningen, planningen: AI is sterk in snelheid en structuur, zwak in het checken van eigen aannames. Bouw een menselijke check in voor alles met financiële, juridische of veiligheidsgevolgen.

Vraag door op onzekerheid. Vraag expliciet: hoe zeker ben je hiervan, en welke aanname zou dit antwoord onderuit halen. Dat dwingt het model om aannames zichtbaar te maken in plaats van ze te verstoppen achter een zelfverzekerde toon.

Test kritische AI-toepassingen eerst klein. Voordat je een AI-agent klantvragen laat beantwoorden of contracten laat samenvatten, test je dat een tijdje naast je bestaande proces, niet in plaats ervan.