De media snapt het niet, en de ingehuurde expert ook niet¶

De pers heeft er zelf vaak geen verstand van. Tech-journalisten die er nergens kaas van gegeten hebben, werkend onder tijdsdruk, in een vak dat om aandacht vecht, en dikwijls voor kranten die zelf tot de grootste privacy-overtreders in de mediasector horen. Dat laatste is mijn eigen waarneming uit metingen aan nieuwssites, en ik houd het daarom op afgeleid: ik heb het gemeten aan de sites, ik heb de redacties er niet zelf over gesproken.

Huren ze iemand in, dan komt er vaak weer een IT'er uit hetzelfde hokjessysteem. Een bouwer met een te kleine mond en geen besef van bedrijfsvoering, van het waarom achter een keuze. Of een governance-persoon die er alleen hoog-over over kan praten en het meetwerk aan een ander overlaat. De bouwer kent de techniek en niet de betekenis. De bestuurder kent de betekenis en niet de techniek. Tussen die twee valt precies het stuk weg waar het om draait, en zo komt het echte verhaal zelden boven.

Dat is een structureel gat, geen incident. Het werk dat ik doe zit op het snijvlak van code en betekenis. Je moet de netwerkstroom kunnen lezen én kunnen uitleggen waarom het ertoe doet. Wie maar één van die twee beheerst, mist de helft van het verhaal, en meestal juist de helft die de lezer nodig heeft.

De reden dat de journalist het zo vaak mist, is te begrijpen zonder er kwaad in te lezen. Een redactie werkt onder druk, met een deadline en een breed pakket aan onderwerpen. Diepgang in één technisch domein past daar zelden in. De journalist die vandaag over privacy schrijft, schreef gisteren over iets anders en morgen weer. Van hem verwachten dat hij een biedstroom of een tracker-keten doorgrondt, is te veel gevraagd. Dus leunt hij op een bron, en de bron die beschikbaar is, komt meestal uit dezelfde wereld van stempels en processen. Zo blijft het gat bestaan en wordt het van de een op de ander doorgegeven. De lezer krijgt een verhaal dat op autoriteit steunt en niet op meting, en merkt het verschil niet, want het klinkt deskundig. En zolang het deskundig klinkt, vraagt niemand om het ruwe bewijs eronder.

Loze certificeringen¶

Daarnaast zijn er de stempels die indruk moeten maken en weinig zeggen. Een ISO-certificaat of een keurmerk vertelt je in de regel niets over wat een site of app werkelijk doet bij een echte bezoeker. Het toetst een papieren beschrijving, een proces, een intentie. Het meet niet het verkeer dat je toestel verlaat op het moment dat je de pagina opent.

Toen ik negen keurende en certificerende partijen langs dezelfde meetlat legde, zakten er meerdere gewoon. Twee grote certificeerders kwamen uit op het niveau Privacy Lek. Dat is een gemeten uitkomst, geen indruk. De partijen die het stempel uitdelen dat vertrouwen moet wekken, bleken bij een echte meting zelf lek. Wie op zo'n stempel afgaat, koopt zekerheid die er niet is.

Het probleem is niet dat certificering bestaat. Het probleem is dat het stempel en het gedrag los van elkaar zijn komen te staan. Het stempel leeft in een document. Het gedrag leeft in het netwerkverkeer. Zolang niemand die twee tegen elkaar houdt, kan een lekke site een schoon keurmerk dragen.

Dat is te repareren, en het is niet ingewikkeld. Je opent de site zoals een echte bezoeker dat doet, en je legt vast wat het toestel verlaat. Elke verbinding naar een derde partij staat dan zwart op wit in een opgeslagen bestand. Je legt die lijst naast wat het keurmerk belooft, en het verschil springt eruit. Dat is precies wat ik doe, en het is de reden dat mijn oordeel over een certificeerder harder is dan een tegenoordeel. Ik lever de vastgelegde verbindingen erbij. De certificeerder levert het proces waarlangs hij tot zijn stempel kwam. Die twee spelen niet in dezelfde categorie. Het ene is te controleren, het andere vraagt om vertrouwen.

Een dronken, giftige soep¶

Alles bij elkaar, de afvinkers, de lopendeband-pentests, de KPI-jagerij, de journalisten zonder de juiste kennis en de certificaten zonder inhoud, vormt een dronken, giftige soep. Ze denkt heel wat te doen en loopt in de praktijk als een kip zonder kop rondjes. En er gaat geld doorheen, veel geld. Budgetten voor audits, voor keurmerken, voor compliance-afdelingen. Het meeste daarvan koopt papier dat de werkelijkheid niet raakt.

Ik schrijf dit hard op, want de zachte versie ervan houdt het systeem in stand. Iedereen doet formeel zijn werk. De pentester levert zijn rapport, de certificeerder zijn stempel, de journalist zijn stuk, de afdeling haalt haar KPI. Elke schakel is correct en de optelsom beschermt niemand. Dat is precies het soort systeem waar de vorm klopt en de uitkomst nergens op slaat.

De KPI-jagerij verdient daarbij een aparte opmerking. Zodra je een getal tot doel maakt, gaat iedereen dat getal najagen en verdwijnt de zaak erachter uit beeld. Een afdeling die op het aantal afgeronde audits wordt afgerekend, rondt audits af. Of die audits ergens iets beschermen, valt buiten het getal, en dus buiten de aandacht. Zo raakt de meetlat losgezongen van waar hij voor stond. Het is dezelfde beweging als bij het keurmerk. De maat gaat een eigen leven leiden en de werkelijkheid die hij zou meten, wandelt weg.

Waarom mijn werk er dan wel uitspringt¶

Tegen die achtergrond is het te verwachten dat gemeten, controleerbaar werk opvalt. Dat komt doordat de lat zo laag ligt dat een heldere meting met bewijs eruit springt. Het zegt op zichzelf weinig over mij. Ik lever een HAR-bestand, een lijst van ontvangers, een reproduceerbare procedure. Wie het niet gelooft, kan het nameten. Dat verklaart een groot deel van de tractie. Mensen herkennen het verschil tussen een vinkje en een feit, ook als ze de techniek erachter niet volgen.

Het onderscheid dat de aandacht trekt is dat van bewijs tegenover bewering. De rest van het veld levert beweringen: een stempel, een geruststelling, een hoog-over verhaal. Ik lever iets wat je zelf kunt controleren. In een omgeving vol beweringen valt het ene controleerbare feit vanzelf op.

Er speelt nog iets mee, denk ik. Mensen voelen aan wanneer ze worden gerustgesteld en wanneer ze iets krijgen wat standhoudt. Een geruststelling zonder grond laat een vaag ongemak achter, ook bij wie de techniek niet volgt. Een meting die je desnoods aan een kennis kunt voorleggen om te laten natrekken, geeft een ander soort houvast. Ik vermoed dat een deel van de weerklank uit dat verschil in gevoel komt. Het is prettiger om iets te delen waarvan je weet dat het klopt dan iets waarvan je maar moet hopen dat het klopt.

Wat ik hiermee wel en niet zeg¶

Voor de zuiverheid het bewijsniveau. De meting van de negen certificeerders is gemeten en te herhalen. Dat kranten hoog scoren op overtredingen is afgeleid uit metingen aan hun sites. Dat de lage lat de belangrijkste verklaring is voor de tractie, is mijn eigen gevolgtrekking, gedragen door wat ik in het veld zie, en dus een vermoeden en geen meting. Ik houd die drie uit elkaar, zodat de lezer weet waar de grond hard is en waar ik redeneer.

Wat blijft staan is dit. Het veld levert overwegend beweringen, en ik lever iets wat je kunt controleren. Zolang dat verschil bestaat, zal controleerbaar werk blijven opvallen, en zal de aandacht ervoor weinig zeggen over mij en veel over de staat van de rest.

Zie ook Waarom ben ik de enige die dit doet?, Media maakt er vaak net een eigen verhaal van en Label elke bevinding op bewijsniveau.