Vooraf, dit zijn geen recensies¶

Ik schrijf hier niet over films die tegenvielen. Een film die me na vijf minuten niet vasthoudt, zet ik uit, en daar valt weinig zinnigs over te zeggen behalve dat ik hem niet heb gezien.

Wat hier staat is dus per definitie selectief. Alleen wat het ontleden waard bleek, heeft de rit gehaald. Ik beoordeel de filmkunst hier niet. Ik beschrijf wat een film met mijn eigen manier van kijken deed.

Die selectie is zelf al een voorbeeld van waar dit stuk over gaat. Ik kijk terug op mijn eigen kijkgedrag, houd over wat indruk maakte, en zie daar dan een lijn in. Drie films die alle drie hetzelfde doen, dat oogt als een patroon. Het kan ook zijn dat ik juist deze drie onthouden heb omdat ze passen in een lijn die al in mijn hoofd zat. Dat verschil kan ik van binnenuit niet vaststellen. Ik zet het er alvast bij, want de rest van dit stuk gaat precies over dat probleem.

Wat de drie gemeen hebben¶

Identity, Shutter Island en The Number 23 zijn heel verschillende films. Ze doen alle drie dezelfde truc met de kijker.

Ze geven je een verhaal dat intern klopt. De gebeurtenissen volgen op elkaar, de personages doen wat je zou verwachten, en jij bouwt onderweg een beeld op van wat er aan de hand is. Dat beeld is coherent, en coherentie voelt als waarheid. Daar zit de hele truc in. Een verhaal waarin alles op zijn plek valt geeft hetzelfde gevoel als een verklaring die klopt, en dat gevoel is een slechte gids.

Dan komt de wending. Met de losse gebeurtenissen blijkt niets mis. Het instrument waarmee je keek was kapot. De waarnemer stond scheef, en alles wat door hem heen kwam stond dus ook scheef.

Dat is een ander soort plotwending dan een onverwachte dader. Bij een gewone ontknoping herzie je een conclusie. Je methode blijft heel, en achteraf krijgt die methode zelfs gelijk, want jij had de aanwijzingen kunnen zien. Hier moet je herzien hoe je conclusies trekt. Er is geen aanwijzing die je gemist hebt en beter had moeten opmerken. De aanwijzingen waren er allemaal en ze klopten allemaal. Ze werden alleen door iets heen gelezen dat scheef stond.

Er zit een tweede laag in. Het beeld dat onderuit gaat is het beeld dat jij zelf gebouwd hebt. De film heeft je grotendeels waarheden gegeven en het kader weggelaten. Daardoor kun je hem achteraf moeilijk verwijten dat hij loog. Je hebt de fout zelf gemaakt, met materiaal dat klopte. Dat is oncomfortabel op een manier die een gewone whodunit nooit haalt.

Waarom dat mij bezighoudt¶

Ik werk elke dag met waarneming. Ik kijk naar verkeer, naar code, naar wat een apparaat doet, en ik bouw daar een verhaal van. Dat verhaal blijft niet in mijn hoofd. Het gaat naar een artikel, naar een toezichthouder of naar de organisatie zelf, en het kan gevolgen hebben voor een bedrijf of voor een persoon. De inzet ligt dus hoger dan bij iemand die thuis een theorie heeft.

Het griezelige aan deze films is dat de hoofdpersonen niet dom zijn en niet onoplettend. Ze redeneren zorgvuldig binnen een kader dat vanaf het begin scheef stond. Zorgvuldigheid helpt daar niet tegen. Zorgvuldigheid maakt het beeld zelfs overtuigender, want elke nieuwe waarneming wordt netjes in het bestaande kader gepast. Wie goed is in redeneren bouwt een steviger fout.

Dat is precies het gevaar in mijn vak, en het is de reden dat ik als beginsel heb dat ik eerst het tegendeel van mijn eigen bevinding moet beargumenteren. Dat beginsel is er tegen zorgvuldigheid binnen een verkeerd kader, want die brengt je verder van de waarheid terwijl het voelt alsof je dichterbij komt. Zie ook Beargumenteer eerst het tegendeel van je eigen bevinding en Een overtuigde getuige is geen betrouwbare meting.

Er is nog een reden dat het me bezighoudt. In deze films voelt de zekerheid van de hoofdpersoon van binnenuit precies zoals terechte zekerheid voelt. Dat ken ik van dichtbij, uit een hoek die niets met werk te maken heeft. Een fobie doet hetzelfde: het gevaar is volledig echt terwijl je verstand weet dat het er niet is. Zie ook Een fobie is zekerheid zonder bewijs.

De derde is de mijne¶

The Number 23 gaat over iemand die overal hetzelfde getal begint te zien. In een adres, in een datum, in de letters van een naam als je ze omzet in cijfers. Hoe langer hij kijkt, hoe meer hij vindt.

En hij heeft ook echt gelijk dat hij het vindt. Dat is het wrede van het idee: de patronen zijn er, ze zijn narekenbaar, en ze betekenen niets. Bij voldoende vrijheid in de bewerking is elk getal overal te vinden. De vondst zegt iets over het zoeken. Over de wereld zegt hij bijna niets.

Daar bestaat een woord voor, apofenie: betekenisvolle verbanden zien in willekeurige gegevens.

Dat blijft niet beperkt tot personages in een film. Het is de standaardfout in mijn hele vakgebied.

De zinsnede "bij voldoende vrijheid in de bewerking" draagt die hele redenering, dus het loont om te laten zien wat hij betekent. Zet elke letter om in zijn plaats in het alfabet. Sta daarna per letter drie dingen toe: optellen, aftrekken, of overslaan. Veel meer vrijheid dan dat heeft numerologie niet nodig.

import itertools

def treffers(naam, doel=23):
    w = [ord(c) - 96 for c in naam.lower() if c.isalpha()]
    raak = sum(
        1 for keuze in itertools.product([1, -1, 0], repeat=len(w))
        if abs(sum(k * x for k, x in zip(keuze, w))) == doel
    )
    return raak, 3 ** len(w)

print(treffers("mick beer"))

Op mijn eigen naam levert dat 140 manieren op om precies 23 uit te komen, uit 6561 mogelijke combinaties. Elk van die 140 is een geldige som. Wie er één uitkiest, hem opschrijft en de andere 6560 niet noemt, heeft een sluitend bewijs op papier staan.

Twee dingen vallen op als je ermee speelt. Het getal 23 is nergens bijzonder. Zet het doel op 7 en er zijn 214 manieren. Zet het op 42 en er zijn er precies 42. Die laatste samenloop is grappig en betekent niets, en daarmee illustreert hij het onderwerp van dit stuk beter dan ik het kan uitleggen. Zet het doel op 111 en er is geen enkele manier, want de letters van mijn naam halen die som simpelweg niet. Het tweede dat opvalt: bij een korte naam als "ada" is er niets te vinden, ook niet voor 23. Het aantal treffers hangt af van hoeveel materiaal je hebt en hoeveel bewerkingen je toestaat. Het hangt nauwelijks af van het getal.

Dat is de hele numerologie in vijf regels code. Vergroot de zoekruimte tot er treffers in zitten, publiceer de treffers, laat de zoekruimte weg.

Die getallen heb ik zelf gedraaid en ze zijn met het blok hierboven na te rekenen. Het bewijsniveau is gemeten. Wat ze aantonen is beperkt: ze gelden voor deze ene bewerking op deze namen. Ze illustreren een principe dat in de statistiek onder een andere naam bekend staat, het probleem van meervoudig toetsen, en dat principe geldt breder dan dit speelgoedvoorbeeld.

Hetzelfde in mijn eigen datasets¶

Ik zit in datasets met duizenden verzoeken, honderden domeinen en tientallen partijen. In zo'n hoeveelheid zijn altijd samenlopen te vinden. Twee partijen die vaak samen opduiken. Een patroon in tijdstippen. Een identifier die op twee plekken lijkt terug te komen. De naam van een bekende tracker die ergens in een JavaScript-bestand staat.

Als ik zoek tot ik iets vind, vind ik altijd iets. En het zal narekenbaar zijn, net als bij hem. Het aantal paren dat je kunt vergelijken groeit kwadratisch met het aantal partijen, dus bij tientallen partijen zijn het er al honderden. Bekijk je die allemaal en meld je de sterkste, dan heb je exact hetzelfde gedaan als met die 140 sommen.

Sommige van die samenlopen zijn echt.

Twee partijen die stelselmatig samen opduiken en daarbij dezelfde identifier uitwisselen, doen iets wat een naam heeft. Dat is cookie-sync, een bestaand en gedocumenteerd mechanisme met een juridische lading onder de AVG. Een identifier die op twee plekken terugkomt kan precies de sleutel zijn die twee profielen aan elkaar knoopt. Zie ook Cookie-sync laat losse partijen dezelfde persoon herkennen en Het risico zit in de optelsom, niet in het losse veld.

Wie zo bang is voor apofenie dat hij elk patroon wegwuift, mist dus precies de dingen die hij zoekt. Dat is de spiegelfout, en in mijn vak is die net zo duur. De regel kan dus niet zijn dat ik patronen wantrouw. De regel moet een procedure zijn die onderscheid maakt tussen een patroon met een mechanisme eronder en een patroon dat alleen een zoektocht achter zich heeft.

Een naam in de code is daar het scherpste voorbeeld van. Die naam staat er echt. Hij is narekenbaar aanwezig. Hij kan het restant zijn van een bibliotheek die nooit vuurt, en dan zegt hij niets over wat het ding daadwerkelijk doet. Zie ook Een naam in de code is nog geen tracker en Shadowban is een verklaring die niets verklaart.

Wat ik daartegen doe¶

Dit is precies waarom mijn methodische beginselen zijn zoals ze zijn, en deze film maakt tastbaar waarom ze nodig zijn.

• Bepaal vooraf wat je zoekt, zodat de vondst niet het product is van het zoeken. Ik leg de vraag vast voordat de scan draait.
• Vraag bij elk patroon hoe waarschijnlijk het is dat het bij toeval ontstaat in een verzameling van deze omvang. Tel daarvoor hoeveel dingen je bekeken hebt, inclusief alles wat niets opleverde. Die noemer is de kern van de zaak.
• Zoek actief naar de tegenverklaring voordat je de jouwe opschrijft. De eerste vraag bij een verdachte samenloop is welk saai mechanisme hem ook verklaart.
• Vraag of er überhaupt een mechanisme is dat het patroon voortbrengt. Cookie-sync heeft er een. Een samenloop in tijdstippen heeft die vaak niet.
• Toets het idee op andere data dan de data waar het idee vandaan kwam. Wie op dezelfde verzameling zoekt en bevestigt, heeft twee keer hetzelfde gedaan.
• Label wat overblijft op bewijsniveau. Gemeten, afgeleid, of vermoed. Zie ook Label elke bevinding op bewijsniveau en Mijn werkwijze: van vermoeden naar bevinding.

En als iets pas verschijnt nadat je er lang genoeg naar hebt gestaard, is dat een reden tot argwaan en niet tot enthousiasme.

Die laatste regel is de moeilijkste, want een gevonden patroon voelt als een beloning voor het werk. Je hebt uren zitten kijken, er komt eindelijk iets uit, en dat geeft een kick. Precies op dat moment moet je jezelf gaan tegenspreken, en precies op dat moment heb je daar de minste zin in.

{xkcd:882}

Die strip vat het beter samen dan ik het kan. Onderzoekers testen twintig kleuren snoepjes op een verband met acne, vinden er bij toeval een die scoort, en de krant kopt over groene snoepjes. Twintig keer zoeken en één keer raak is precies wat je verwacht bij toeval, en het ziet er van buiten identiek uit aan een ontdekking.

Het venijn zit in de laatste stap. De lezer van de krant ziet de negentien andere kleuren nooit. De publicatie meldt de treffer en laat de zoekruimte weg, en dat is dezelfde beweging als bij die 140 sommen. Zie ook Media maakt er vaak net een eigen verhaal van.

Waarom fictie hier iets toevoegt¶

Ik had dit alles ook uit de literatuur over cognitieve vertekening kunnen halen, en dat heb ik ook gedaan. De begrippen staan daar allemaal in, netjes benoemd.

Een lijst met valkuilen lees je en knik je bij. Je leest hem bovendien van buitenaf, als iemand die de fout zelf niet maakt. Een film die je er twee uur zelf in laat lopen, laat je voelen hoe overtuigend het van binnenuit is. Dat is hetzelfde verschil als tussen een betoog en een verhaal bij Kafka: je concludeert het zelf, en daarom raak je het niet kwijt. Zie ook Kafka's grootste creatie is een bijvoeglijk naamwoord en Raskolnikov redeneert zijn moord recht, en dat leest lichamelijk ongemakkelijk.

Er is een goede tegenwerping op dat idee, en die noem ik liever zelf. Een scenarioschrijver bepaalt welk bewijs je te zien krijgt. Hij kan de fout van zijn hoofdpersoon laten slagen omdat hij ook de wereld eromheen bouwt. In het echt vecht een verkeerd kader tegen data die niemand in de hand heeft, en dan loopt het kader vaker vast dan in een film. Een film laat dus zien hoe apofenie van binnenuit voelt. Hoe vaak het gebeurt, kan hij niet aantonen.

Dat neem ik voor lief. Ik gebruik deze films als leermiddel voor de ervaring, en de vraag hoe vaak het misgaat beantwoord ik ergens anders, met tellingen en met noemers. Het nut zit in de herinnering aan het gevoel. Als ik drie uur naar een correlatie in een scan heb zitten staren en ik voel dat het klopt, dan behandel ik dat gevoel als een alarm.

Zie ook Beargumenteer eerst het tegendeel van je eigen bevinding, Een overtuigde getuige is geen betrouwbare meting en Een naam in de code is nog geen tracker.