Wie publiceert dat er niets vertrekt, moet eerst bewijzen dat zijn meting het wél zou vinden
Een schone meting kan twee dingen betekenen: er gebeurt niets, of je instrument kijkt de verkeerde kant op. Van buitenaf zijn die twee niet te onderscheiden, en juist een nulmeting wordt gepubliceerd als geruststelling. De oplossing is een positieve controle: laat dezelfde detector eerst los op materiaal waarvan vaststaat dat het besmet is. Pas als hij daar aanslaat, telt zijn stilte op het nieuwe materiaal.
Het probleem met een schone meting¶
Er is een soort bevinding die makkelijker te publiceren is dan alle andere: de nulmeting. Ik heb gekeken en er gaat niets meer weg. Zo'n uitkomst leest als opluchting, wordt gretig overgenomen en zelden nagerekend.
En hij is dubbelzinnig. Een detector die niets vindt, zegt één van twee dingen. Of er is niets. Of hij kijkt de verkeerde kant op, zoekt naar het verkeerde patroon, of draait op materiaal dat de gebeurtenis niet bevat. Van buitenaf zien die twee er identiek uit.
Dat is geen theoretisch risico. Precies op het moment dat een organisatie meldt dat iets is uitgezet, ga je meten om die belofte na te lopen. Je bent dan aan het zoeken naar iets waarvan de ander zegt dat het weg is, met gereedschap dat je zelf hebt afgesteld.
De positieve controle¶
De oplossing komt uit het laboratorium en heet daar de positieve controle. Voordat je conclusies verbindt aan een negatieve uitslag, laat je hetzelfde instrument los op materiaal waarvan vaststaat dat het besmet is.
In de praktijk betekent dat: bewaar je oude opnames. Vind je in een nieuwe meting niets, draai de detector dan eerst over de opname van vóór de reparatie, waarin je zeker weet dat de tracker zat. Slaat hij daar aan, dan is zijn stilte op het nieuwe materiaal een bevinding. Slaat hij daar niet aan, dan heb je zojuist je eigen gereedschap gerepareerd in plaats van een nieuwsbericht geschreven.
Dit kost vijf minuten en het is het verschil tussen een gepubliceerde bevinding en gepubliceerd vertrouwen in je eigen gereedschap.
Waarom dit bij nulmetingen zwaarder telt dan bij vondsten¶
Bij een vondst corrigeert de werkelijkheid je vanzelf. Je noemt een partij, die partij reageert, en een fout in je detectie komt boven water.
Bij een nulmeting gebeurt dat niet. Niemand meldt zich om te zeggen dat je hem ten onrechte hebt vrijgepleit. Een fout-negatief blijft staan, wordt geciteerd, en gaat een eigen leven leiden als bewijs dat het probleem is opgelost.
Dat is de asymmetrie die deze werkregel nodig maakt. Zie Een mislukte meting is geen schone app, Een aanwijzing is nog geen bewijs en Gemeten is niet bewezen.
De formulering die erbij hoort¶
Wat ik in het stuk zet als de controle is gedaan: ik heb dezelfde detector eerst losgelaten op de opname van voor de reparatie, waarin de tracker aantoonbaar zat, en daar sloeg hij aan. Daarna vond hij op de nieuwe opname niets.
Wat ik erbij zeg als de controle niet kon: deze meting toont geen tracker, en ik heb niet kunnen vaststellen dat mijn opzet hem zou hebben gevonden. Behandel dit als een ondergrens.