De regel¶

Voordat ik een bevinding opschrijf, probeer ik haar eerst onderuit te halen. Niet oppervlakkig, maar met het beste argument dat de onderzochte partij zou kunnen aanvoeren als ze een goede advocaat had.

Pas wat die ronde overleeft, gaat de tekst in.

Waarom dit meer is dan zorgvuldigheid¶

Er is een praktische reden en een diepere reden, en de diepere is de belangrijkste.

De praktische: als ik het tegenargument niet zelf bedenk, bedenkt de tegenpartij het, en dan sta ik met een verhaal dat in één zin onderuit gaat. Alles wat ik publiceer wordt gelezen door mensen met een belang bij mijn ongelijk. Die zoeken precies de zwakste schakel.

De diepere: zonder deze stap vind ik altijd wat ik zoek. Ik kijk naar datasets met duizenden verzoeken en honderden partijen. Daar zit altijd een patroon in dat mijn verhaal ondersteunt, en het zal narekenbaar zijn ook. De vondst zegt dan iets over mijn zoeken, niet over de wereld.

Het tegendeel beargumenteren is het enige gereedschap dat ik ken dat daartegen beschermt. Niet omdat het feilloos is, maar omdat het me dwingt om te formuleren wat er waar zou moeten zijn als ik ongelijk had, en om te kijken of dat er ook is.

Hoe ik het doe¶

Concreet loopt het langs vier vragen.

• Wat is de onschuldige verklaring? Een verzoek naar een advertentiedomein kan een cachebestand zijn, een lettertype, een fout in mijn eigen opzet. Kan ik die uitsluiten?
• Wat zou de organisatie zeggen? Meestal iets als: dat script laadt wel maar vuurt niets af, of die identifier is niet aan een persoon te koppelen. Kan ik dat weerleggen met wat ik heb gemeten, of alleen met wat ik vermoed?
• Is mijn meting geldig? Heb ik geweigerd zoals een gewone bezoeker, heb ik lang genoeg gewacht, heb ik het herhaald op een schone opzet, komt het er twee keer uit?
• Draagt de meting de conclusie? Dit is de vraag waar de meeste bevindingen sneuvelen. Ik zie een verzoek, dus ik weet dat er iets is verstuurd. Ik weet daarmee nog niet wie het las of wat ermee gebeurde.

Wat het oplevert¶

Het meeste van wat ik vind, haalt de publicatie niet. Dat voelt als verlies en is het niet.

Wat overblijft, staat. In de jaren dat ik dit doe is geen enkele gepubliceerde bevinding onderuitgegaan op de inhoud. Dat is geen kwestie van geluk maar van het feit dat de zwakke bevindingen al waren gesneuveld voordat iemand ze kon aanvallen.

En er zit een tweede opbrengst in die ik niet had verwacht. Doordat ik de organisatie het sterkste tegenargument geef, is het gesprek met die organisatie anders. Ze merken dat het niet gaat om betrapt worden maar om vaststellen wat er is. Dat opent meer deuren dan verontwaardiging.

Waar de regel ophoudt¶

Ik moet ook zeggen wat dit niet oplost.

Het beschermt niet tegen een fout in het kader zelf. Als ik verkeerd aanneem wat een bepaalde parameter betekent, zal ik het tegendeel beargumenteren binnen datzelfde verkeerde kader en netjes uitkomen bij mijn eigen conclusie. Daar helpt alleen iemand anders die er met andere ogen naar kijkt.

En het kan doorslaan. Wie alles onderuit haalt, publiceert nooit meer iets, en dan verandert er ook niets. Het doel is niet zekerheid, want die bestaat niet in dit werk. Het doel is dat de claim precies zo sterk is als het bewijs, en geen millimeter sterker.

Zie ook Label elke bevinding op bewijsniveau, Identity, Shutter Island en The Number 23 tonen een kapot waarnemingsinstrument en Technisch juiste uitspraken kunnen een verkeerde indruk wekken.