AI Snake Oil

Waar gaat dit boek over?

In een markt waarin elke leverancier "AI-powered" op zijn productpagina zet en elke consultant een AI-transformatieprogramma verkoopt, is AI Snake Oil het tegengif. Arvind Narayanan en Sayash Kapoor, beiden AI-onderzoekers aan Princeton, betogen dat de term "AI" inmiddels zo breed is geworden dat hij praktisch betekenisloos is. Onder dezelfde paraplu vind je technologieën die ronduit verbluffend werken (ChatGPT, automatische vertaling), technologieën die marginaal nuttig zijn, en technologieën die actief schade aanrichten omdat ze prestaties claimen die ze aantoonbaar niet leveren.

Het boek dwingt de lezer tot iets dat in de huidige AI-discussie zeldzaam is geworden: onderscheid maken. Welke specifieke AI-toepassing wordt hier verkocht? Op welk soort taak? Op basis van welk bewijs? Met welke false positive en false negative-rates? Wie controleert de output? Dat zijn niet de vragen van een AI-scepticus, het zijn de vragen van iemand die volwassen met technologie wil omgaan.

Over de auteurs

Arvind Narayanan is hoogleraar Computer Science aan Princeton en directeur van het Center for Information Technology Policy. Hij is mede-auteur van het standaardwerk Bitcoin and Cryptocurrency Technologies en heeft jarenlang gepubliceerd over privacy, machine learning en de maatschappelijke gevolgen van algoritmische besluitvorming. Hij staat bekend om scherpe, evidence-based kritiek op tech-bedrijven die hun systemen oververkopen.

Sayash Kapoor is PhD-onderzoeker bij hetzelfde Princeton-centrum. Zijn werk richt zich op de reproduceerbaarheidscrisis in machine learning, het fenomeen dat veel gepubliceerde AI-prestaties niet repliceerbaar blijken zodra een onafhankelijke partij ernaar kijkt. Samen met Narayanan publiceert hij de invloedrijke Substack AI Snake Oil, waaruit het boek is voortgekomen.

De combinatie is precies wat het onderwerp nodig heeft: een gevestigde hoogleraar met institutioneel gezag, en een jonge onderzoeker die middenin de reproductie-discussie zit. Niet twee buitenstaanders die roepen dat het allemaal nep is, maar twee insiders die heel precies weten waar de claims onder de academische standaard duiken.

De drie soorten AI: het centrale denkkader

De belangrijkste bijdrage van het boek is een simpele driedeling die je voor elke AI-discussie kunt gebruiken. Pas die toe, en de helft van de hype-verhalen valt direct in elkaar.

1. Generatieve AI

Modellen die nieuwe output genereren: tekst, beeld, audio, code. ChatGPT, Claude, Gemini, Midjourney. Deze technologie werkt verbluffend goed voor een breed scala aan taken, met als belangrijkste beperking dat output overtuigend kan zijn én onjuist. Bruikbaar waar fouten goedkoop te verifiëren zijn (een eerste versie van een tekst), gevaarlijk waar fouten duur zijn (medisch advies dat direct wordt uitgevoerd).

2. Predictieve AI

Modellen die voorspellen wat er gaat gebeuren met mensen of situaties: wie wordt een goede medewerker, wie zal het terugbetalen van een lening missen, welke leerling zal uitvallen, wie zal opnieuw misdaad plegen. Hier is het oordeel van de auteurs streng: voor zachte sociale uitkomsten presteert deze klasse modellen vaak nauwelijks beter dan triviale regels of zelfs toeval, ondanks indrukwekkende marketing. Het probleem zit niet in de techniek maar in de aard van het probleem: menselijk gedrag is fundamenteel moeilijker te voorspellen dan eiwitstructuren of weerpatronen.

3. Content-moderatie AI

Algoritmes die schadelijke of ongewenste content detecteren op platforms. Werkt redelijk voor sommige duidelijke gevallen (kinderpornografie via bekende hashes), gebrekkig voor genuanceerde gevallen (haatspraak in context, satire, regionale uitdrukkingen). De auteurs zien hier vooral een schaalprobleem: zelfs systemen die 99% accuraat zijn produceren bij miljarden posts miljoenen fouten per dag.

Hoeveel discussies in vergaderkamers, beleidsstukken en investeringsmemo's worden door deze driedeling onmiddellijk scherper? In mijn ervaring de meeste.

De zeven lessen uitgewerkt

Les 1, Behandel AI niet als één ding

Wie zegt "AI wordt steeds beter" of "AI kan dit niet", maakt automatisch een denkfout: er is geen "AI", er zijn AI-systemen voor specifieke taken. ChatGPT wordt steeds beter in tekstgeneratie. Dat zegt niets over of een hiring-algoritme beter wordt in het voorspellen van werknemerprestatie. Andere techniek, andere data, andere validatie.

Praktisch: bij elke AI-discussie eis dat de spreker specificeert om welk type taak het gaat. Als hij dat niet kan, weet je dat hij over een vaag concept praat en niet over technologie.

Les 2, Predictieve AI voor sociale uitkomsten werkt zelden zoals geclaimd

Een van de meest controversiële stellingen van het boek, en degelijk onderbouwd. Onderzoeken naar predictieve modellen voor sollicitatieprestatie, recidive, jeugdcriminaliteit en welzijnsdiensten laten consistent zien dat deze modellen in onafhankelijke validatie nauwelijks beter presteren dan eenvoudige beslisregels, en soms slechter.

De reden is dat menselijk gedrag fundamenteel beïnvloed wordt door variabelen die niet in de data zitten: gezinsomstandigheden van morgen, een onbekende leidinggevende, een onverwachte kans. Modellen die getraind zijn op het verleden, voorspellen de status quo, niet de toekomst van het individu.

Praktisch: vraag bij elke predictieve AI om de prestatie op een onafhankelijke dataset (niet de trainingsset), bij voorkeur in een gerandomiseerd experiment. Krijg je die niet, dan hangt het beleid van je organisatie op marketing, niet op bewijs.

Les 3, Generatieve AI werkt verbluffend goed, maar niet feilloos

De auteurs zijn over generatieve AI veel positiever dan over predictieve AI. ChatGPT, Claude en collega's leveren echte productiviteitswinst voor schrijven, samenvatten, code, brainstormen. Maar ze hallucineren, missen vaak context, en zijn onvoorspelbaar in randgevallen.

Het bruikbaarheidscriterium dat de auteurs voorstellen: hoeveel kost het verifiëren van de output? Bij een eerste versie van een mail: bijna niets, dus gebruik AI vrij. Bij een juridisch advies dat direct wordt uitgevoerd: enorm, dus gebruik AI alleen als sparring, niet als beslisser.

Praktisch: maak voor elk AI-gebruik in je organisatie expliciet wie de output verifieert en hoe. Geen verificatie? Dan is het geen tool, dan is het een gokkast.

Les 4, Een hoog accuratesse-getal zegt op zichzelf niets

Een van de scherpste hoofdstukken. Marketing zegt graag: "Ons model is 95% accuraat." Dat lijkt indrukwekkend. Maar overweeg: als je probeert te voorspellen welke werknemer fraude pleegt en 1% van de werknemers fraudeert, dan is een model dat altijd "geen fraude" voorspelt 99% accuraat, en compleet waardeloos.

Wat je werkelijk wilt weten:

• Basisratio: hoe vaak komt de uitkomst voor in de populatie?
• False positive rate: hoeveel mensen ten onrechte als positief geclassificeerd?
• False negative rate: hoeveel echte positieven gemist?
• Kosten: wat is de schade van een false positive vergeleken met een false negative?

Praktisch: weiger elke AI-claim die alleen "accuratesse" rapporteert. Vraag de confusion matrix en de kosten per soort fout. Krijg je die niet, dan is de claim niet beoordeelbaar.

Les 5, Zoek altijd naar reproductie en peer-review

De auteurs zijn streng over de wetenschappelijke standaard. Veel AI-claims komen uit één paper, soms van de leverancier zelf, vaak niet onafhankelijk gerepliceerd. In de bredere wetenschap kennen we het reproduceerbaarheidsprobleem uit de psychologie en geneeskunde. In machine learning is het minstens zo groot, zo niet groter.

Praktisch: vraag bij elke AI-claim om twee onafhankelijke replicaties of een onafhankelijke audit. Heeft de leverancier die niet, dan koop je een hypothese, geen product.

Les 6, De échte risico's zitten nu, niet in de superintelligente toekomst

Een opvallend en breder maatschappelijk argument. Veel media-aandacht voor AI gaat naar hypothetische scenario's: superintelligentie, AGI, existentieel risico. De auteurs vinden dat afleiding van wat hier en nu speelt: predictieve AI in werving, in sociale-zekerheidstoekenning, in justitie, die mensen vandaag onterecht uitsluit van banen, uitkeringen of vrijheid.

Dat is geen oproep tot ontspannenheid over de toekomst, het is een oproep tot prioritering. De grootste concrete schade van AI is op dit moment niet hypothetisch maar gedocumenteerd, en wordt structureel onderbelicht in de publieke discussie.

Praktisch: in elk gesprek over AI-ethiek in je organisatie, breng het terug naar de concrete vraag: welke beslissingen nemen wij nu met behulp van AI, en welke schade ontstaat als de AI ongelijk heeft?

Les 7, Vraag wat het systeem doet als het ongelijk heeft

De afsluitende les is misschien de praktisch belangrijkste. Geen enkele AI is altijd accuraat. De vraag bij elke implementatie is daarom niet "is hij goed?" maar "wat gebeurt er als hij fout zit?".

Drie vragen die elk AI-systeem in een organisatie moet kunnen beantwoorden:

• Hoe wordt een fout ontdekt? (Detectie)
• Wie corrigeert het? (Eigenaarschap)
• Wat is de schade voor de getroffen persoon? (Kosten)

Praktisch: maak deze drie vragen verplicht onderdeel van elk AI-projectvoorstel. Een AI zonder antwoorden hierop, is een AI die niet in productie hoort.

Drie scenarios: hoe het boek in de praktijk werkt

Scenario 1: de wervings-AI

Een leverancier biedt aan om je sollicitatieproces te versnellen met AI die op basis van CV's, video-interviews en taalpatronen voorspelt welke kandidaten succesvol zullen zijn. Demo overtuigend, prijs schappelijk.

Klassieke aanpak: tekenen op de demo en de belofte dat het beter is dan recruiters.

De AI-Snake-Oil-aanpak: dit valt onder predictieve AI voor sociale uitkomsten, dus default-skepsis. Eis drie dingen voor je tekent:

1. Onafhankelijke validatie op een gerandomiseerde dataset (niet de trainingsset)
2. False positive en false negative-rates met kosten per type fout
3. Documentatie van welke beschermde kenmerken indirect gemodelleerd worden

In de praktijk halen weinig leveranciers van wervings-AI deze test. Dat zegt iets, niet over deze ene leverancier, maar over de categorie.

Scenario 2: ChatGPT in het customer-service team

Je service-managers willen AI inzetten om e-mails sneller te beantwoorden. Generatieve AI, dus volgens het boek default-positief. Maar.

De kostvraag: een fout antwoord aan een klant kan leiden tot een verkeerde verwachting, gemiste claim, of reputatieschade. Verificatiekosten: middelhoog, een mens moet het lezen voor verzending.

De aanpak: gebruik AI voor concept-antwoorden die door een mens worden gecontroleerd, niet voor autonome verzending. Meet wekelijks het aantal correcties dat een mens aanbrengt en het aantal klachten dat ondanks correctie binnenkomt. Zodra correctiefrequentie boven een drempel komt, opnieuw evalueren.

Scenario 3: de fraude-detectie-AI

Je bent CFO, een leverancier biedt een AI-systeem dat verdachte transacties markeert voor onderzoek. Predictieve AI, maar wel met objectieve uitkomstmaten (was het echt fraude of niet?).

Hier kan AI nuttig zijn, juist omdat de uitkomst verifieerbaar is. Maar: vraag de basisratio (hoeveel fraude komt voor?), vraag de false positive-rate (hoeveel onschuldigen worden onderzocht?), en vraag wat het kost om iemand ten onrechte als verdacht aan te merken.

Vaak blijkt: het systeem heeft een hoge "accuratesse" maar produceert zoveel false positives dat het onderzoeksteam onbruikbaar wordt overspoeld. Dan is de AI niet defect, dan is de implementatie verkeerd ingericht.

Tien valkuilen waar dit boek je doorheen leidt

1. AI gelijkstellen aan ChatGPT (en daarom denken dat alle AI nu briljant is).
2. Tekenen op basis van een demo zonder onafhankelijke validatie.
3. Accuratesse-getallen voor waarheid aannemen zonder basisratio te kennen.
4. Voorbij gaan aan false positives omdat ze niet in de marketing staan.
5. Een AI-leverancier vragen om zijn eigen AI te valideren, en dat acceptabel vinden.
6. Doomscenario's verwarren met huidig risico, waardoor concrete schade onbesproken blijft.
7. Hype-driven adopteren uit angst om achter te blijven, in plaats van usecase-driven implementeren.
8. AI-output ongezien gebruiken als input voor klantbeslissingen.
9. Geen menselijke fall-back inrichten voor wanneer de AI fout zit.
10. AI-beslissingen als objectief beschouwen, terwijl ze de aannames van de bouwer reproduceren.

Vergelijking met andere AI-boeken

AI Snake Oil staat in een breder veld van kritische AI-literatuur. Wie verder wil lezen, vindt hier de richtinggevende alternatieven.

Co-Intelligence, Ethan Mollick

Mollick is de praktische optimist: hoe haal je het meeste uit generatieve AI als gebruiker. Narayanan en Kapoor zijn de strategische sceptici: hoe beoordeel je AI-claims op organisatieniveau. Geen tegenstelling, een prachtige aanvulling. Mollick is voor de medewerker maandagochtend, AI Snake Oil voor het bestuur woensdagmiddag.

Weapons of Math Destruction, Cathy O'Neil

O'Neil legde in 2016 de basis voor het kritische AI-discours: hoe ondoorzichtige modellen ongelijkheid kunnen versterken. AI Snake Oil bouwt hierop voort met de specifiekere vraag: presteren deze modellen überhaupt zoals geclaimd? Lees O'Neil voor het maatschappelijke kader, Narayanan en Kapoor voor de empirische evaluatie.

Atlas of AI, Kate Crawford

Crawford schrijft over de materiële, geopolitieke en arbeidsdimensie van AI-systemen. AI Snake Oil blijft dichter bij prestatie-evaluatie en marktclaims. Crawford lees je voor de structurele lens, AI Snake Oil voor de operationele beslissing.

The Alignment Problem, Brian Christian

Christian behandelt het bredere onderzoeksveld van AI-alignment: hoe zorg je dat AI doet wat we bedoelen. Veel academischer en breder dan AI Snake Oil. Goed vervolg voor wie na AI Snake Oil de dieperliggende onderzoeksvragen wil verkennen.

This is not AI, Sanne Cornelissen

De Nederlandse tegenhanger op een ander niveau: niet op organisatie-beoordeling, maar op persoonlijke reflectie. Hoe houd je je eigen denken in stand terwijl je AI gebruikt. Lees beide naast elkaar: Cornelissen voor jezelf, Narayanan en Kapoor voor je organisatie.

Welk boek wanneer?

Wat zoek je?	Pak dit boek
Kritisch denkkader voor AI-beslissingen op organisatieniveau	AI Snake Oil
Praktische gids voor productiever werken met generatieve AI	Co-Intelligence
Maatschappelijke analyse van algoritmische ongelijkheid	Weapons of Math Destruction
Structurele kritiek op de AI-industrie	Atlas of AI
Persoonlijke reflectie op je eigen AI-gebruik	This is not AI
Diepgang in het AI-alignment-onderzoek	The Alignment Problem

Sterke punten

De grootste kracht is dat de auteurs AI-onderzoekers zijn, geen externe critici. Wanneer Narayanan en Kapoor zeggen dat een specifiek soort model niet werkt, dragen ze die uitspraak met institutioneel gewicht. Het maakt het boek immuun voor het vaakgehoorde tegenargument "die buitenstaanders begrijpen de technologie niet". Hier begrijpen ze hem precies, en juist dat is waarom ze sceptisch zijn waar het hoort.

Daarnaast is de driedeling tussen generatieve AI, predictieve AI en content-moderatie zo praktisch en bruikbaar dat hij in elk AI-gesprek in je organisatie inzetbaar is. Eén keer lezen en je hebt een mentaal model dat je voor de rest van je carrière scherpere vragen laat stellen.

Zwakke punten

Voor wie de AI-academische literatuur al volgt, brengt AI Snake Oil weinig schokkend nieuws. De waarde zit dan vooral in de bundeling en de overdraagbaarheid: hier staat in begrijpelijke vorm wat anders verspreid in papers en blogs leeft.

De voorbeelden zijn in het tempo van de AI-ontwikkeling onvermijdelijk gedateerd op het moment van verschijning. Een Claude- of GPT-versie van vorig jaar is niet wat je vandaag gebruikt. De auteurs zijn zich daarvan bewust, en het denkkader blijft overeind, maar wie alleen voor de nieuwste benchmarks komt, vindt die elders frisser.

Tot slot: het Amerikaanse perspectief overheerst. De voorbeelden komen uit Amerikaanse werving, justitie en sociale zekerheid. Voor de EU-context (AI Act, AVG, nationale toezichthouders) heb je aanvullende bronnen nodig.

Mijn oordeel

AI Snake Oil is op dit moment het meest waardevolle AI-boek voor managers en bestuurders die over investeringen of beleid moeten beslissen. Niet omdat het de AI-revolutie ontkent, juist niet, de auteurs zien generatieve AI als een doorbraak, maar omdat het de moeilijke vraag durft te stellen die in de meeste salesgesprekken wegvalt: werkt dit specifieke ding echt zoals geclaimd?

De combinatie van academisch gezag, helder geschreven proza en directe toepasbaarheid is zeldzaam in dit veld. De driedeling alleen al, en het bijbehorende discipline om elke AI-discussie te beginnen met "welk type AI hebben we het over?", verandert de kwaliteit van besluitvorming meetbaar. Je merkt het in vergaderingen waar iemand het toepast: de hype-laag valt af, het echte gesprek begint.

De beperkingen zijn eerlijk te benoemen. Wie maandagmorgen sneller wil werken met ChatGPT, vindt elders bruikbaarder advies. Wie technische diepgang over architecturen zoekt, ook. En wie de Europese juridische context wil, leest hier weinig. Maar voor het strategische gesprek, voor de beslissing of een AI-leverancier serieus is, voor het opzetten van interne governance, is dit het boek dat het bestuur zou moeten lezen voor de volgende AI-pitch op de agenda staat.

Koop dit boek als…

• Je in een rol zit waarin AI-investeringen worden gepitcht en je niet altijd weet wat je terug moet zeggen
• Je intern beleid maakt of evalueert over AI-gebruik in HR, klantbediening of besluitvorming
• Je merkt dat AI-discussies in je organisatie ontsporen tussen hype en doomdenken zonder middenweg
• Je een denkkader zoekt dat ook over vijf jaar nog overeind staat, los van welk model dan dominant is
• Je collega's en directie wilt overtuigen om voor het tekenen één stap dieper te kijken

Sla dit boek over als…

• Je een prompt-handleiding zoekt voor dagelijks AI-gebruik, kies dan Co-Intelligence of Werk hand in hand met AI
• Je technische diepgang wilt over hoe modellen werken
• Je een puur Europese juridische gids zoekt voor AI Act-compliance
• Je geen geduld hebt voor onderbouwing en alleen conclusies wilt

Eindscore

Criterium	Score
Praktische toepasbaarheid	8/10
Leesbaarheid	7/10
Originaliteit	8/10
Geschikt voor beginners	7/10
Algeheel oordeel	7,5/10

Een aanrader voor het strategische middensegment van Nederlandse managers, bestuurders en beleidsmakers die hun AI-besluitvorming serieus willen nemen zonder in hype of doomdenken te verdrinken. Het denkkader betaalt zich terug bij de eerste leverancierspitch die je na het lezen scherper afserveert.

Transparantie: Deze bespreking is geschreven op basis van het Engelse origineel (Princeton University Press, 2024), de doorlopende Substack van de auteurs ("AI Snake Oil") en publiek beschikbare interviews. De driedeling tussen generatieve AI, predictieve AI en content-moderatie, en de stelling dat predictieve AI voor sociale uitkomsten ondermaats presteert, zijn aan de auteurs toe te schrijven. De uitgewerkte scenarios, de vragenlijst voor leveranciers en de Nederlandse toepassing zijn onze eigen vertaling van hun principes naar de praktijk.