Een toets met meerdere criteria hoort een EN-poort te zijn, geen gemiddelde
Zodra een beoordelingskader meerdere vragen kent, ontstaat de neiging ze te wegen en op te tellen. Dan compenseert een hoge score op het ene punt een onaanvaardbare uitkomst op het andere, en komt er alsnog een voldoende uit. Bij vragen die elk op zichzelf een grens bewaken werkt dat niet: elk antwoord moet afzonderlijk ja zijn, of het antwoord is nee. Dat verschil bepaalt of een kader iets tegenhoudt of alles doorlaat.
Waar het misgaat¶
Zodra een beoordelingskader meer dan één vraag stelt, komt de rekenmachine tevoorschijn. Vijf criteria, elk een score, een weging erbij, en er rolt een cijfer uit. Het voelt genuanceerd en het is bestuurlijk prettig, want er is altijd een uitkomst.
Het is ook de meest voorkomende manier om een norm zijn werking te ontnemen. Wegen en optellen betekent dat een hoge score op het ene punt een onaanvaardbare uitkomst op het andere kan compenseren. Wie op vier van de vijf criteria uitstekend scoort en op de vijfde volledig zakt, komt er met een ruime voldoende uit. En dat vijfde criterium was nou net degene die er als grens in stond.
Het onderscheid¶
Er zijn twee soorten criteria en ze verdragen elkaar niet in dezelfde som.
Kwaliteitscriteria beschrijven hoe goed iets is. Die mag je middelen. Een site die snel laadt en goed leesbaar is, compenseert daarmee een minder mooie vormgeving.
Drempelcriteria bewaken een grens. Die mag je niet middelen. Is er een geldige grondslag, ja of nee. Is er toestemming gevraagd voordat er werd geplaatst, ja of nee. Kan de gebruiker weigeren en werkt dat, ja of nee. Elk van die vragen moet afzonderlijk met ja te beantwoorden zijn, of het antwoord op het geheel is nee.
De fout ontstaat doordat beide soorten in hetzelfde formulier staan en er dus hetzelfde uitzien.
De toets voor je eigen toets¶
Neem je zwaarste criterium. Stel dat een partij daar volledig op faalt en op alle andere punten perfect scoort. Komt er dan een voldoende uit?
Zo ja, dan is je kader een gemiddelde en houdt het niets tegen. Zo nee, dan heb je een EN-poort en werkt het.
Dit is ook de reden dat een sterrenscore altijd zwakker is dan een korte lijst harde drempels. Ik gebruik zelf allebei, en ik houd ze streng gescheiden: de sterren voor de vergelijking tussen partijen, de drempels voor de vraag of iets mag. Zie Label elke bevinding op bewijsniveau en De cookiewet is de snelste toets die een meting kan halen.
Waarom kaders zo vaak toch middelen¶
Omdat een EN-poort onaangename uitkomsten geeft. Hij levert veel nee's, hij maakt geen ranglijst en hij laat zich niet als voortgang presenteren. Een gewogen cijfer is bestuurlijk bruikbaar, want het beweegt.
Dat is precies waarom de keuze tussen die twee vormen geen technische keuze is maar een besluit over wat het kader moet doen: iets tegenhouden, of iets meten.