Doping Academy

Onafhankelijk kennis- en informatiecentrum doping


Home | Terug


Les 4 van 10 | leestijd 5 -10 min. | [344]

De consequenties van imperfectie bij (doping)tests



academy cap 204x204Les 3 liet zien dat dat perfecte (doping)-tests niet bestaan, zodat er altijd fouten ontstaan. Deze les toont hoe een fout vals positief of vals negatief wordt en wat de consequenties daarvan zijn.

Inleiding

professor2Enkelvoudige selectietests zijn tests met een dichotome uitkomst: er wordt wel of niet aan de eisen van een criterium voldaan[12], zoals wel/niet sneller gereden dan 50 km/uur, wel/geen borstkanker, wel/niet doping gebruikt, et cetera. In de vorige lessen zagen we dat perfecte (doping)-tests niet bestaan, zodat er onvermijdelijk foute beslissingen worden genomen. Die moeten echter tot een minimum worden beperkt.

De signaal-detectie-theorie laat zien welke fouten kunnen ontstaan en hoe we die kunnen beïnvloeden. Naast het criterium zijn er dan vier belangrijke variabelen, die we bij doping-tests kunnen omschrijven als:

1) De geobserveerde score, de uitkomst van de test. 
2) De werkelijke score, de werkelijke waarde.
3) De kritische test-score, de grenswaarde op basis waarvan wordt beslist of de geobserveerde score wel of niet aan het criterium voldoet.
4) De kritische criterium-score, de grenswaarde die bepaald of werkelijk aan het criterium is voldaan.

Ter illustratie een snelheids-controle waar 80 km/uur is toegestaan (kritische criterium-score). Snelheden boven de 83 km/uur (de kritische test-score) worden bekeurd voor te snel rijden (het criterium). Een auto zou volgens de meet-apparatuur 83 km/uur rijden (geobserveerde score). Dat is boven de kritische test-score zodat de automobilist wordt bekeurd. De auto reed echter 79 km/uur (de werkelijke score), zodat niet aan de kritische criterium-score werd voldaan (sneller dan 80 km/uur). De imperfectie van de meet-apparatuur, waardoor die 4 km/uur te hoog aangaf, leidde tot een foute beslissing.

We zagen al dat perfecte tests niet bestaan, zodat er, net als in het voorbeeld van de snelheids-controle, altijd foute beslissingen gemaakt worden en meer naarmate de betrouwbaarheid en/of de validiteit van de test lager is. Dat maakt het oordeel te snel rijden, borst-kanker of doping gebruikt twijfelachtig. We bespreken de consequenties van die fouten aan de hand van de signaal-detectie-theorie, die van cruciaal belang is bij de interpretatie van de test-resultaten. Brouwer[4] beschreef dit voor doping-tests.

signaaldetectietheorie

We zagen dat doping-tests enkelvoudige (dichotome) selectietests zijn, waarin wordt beslist of wel of niet aan de eisen van het criterium wordt voldaan: wel/geen doping gebruikt. Omdat perfecte tests niet bestaan, is het verschil tussen de geobserveerde en werkelijke score van belang (in het eerdergenoemde voorbeeld over snelheids-controle respectievelijk 83 en 79 km/uur). Dat verschil kan tot foute beslissingen leiden. Er zijn dan vier mogelijke uitkomsten (zie figuur 4-1).

A. Negatief getest en geen doping gebruikt (correct negatief) – schoon (groen).
B. Negatief getest, maar wel doping gebruikt (vals negatief) – niet gepakt (rood).
C. Positief getest, wel doping gebruikt (correct positief) – terecht gepakt (groen).
D. Positief getest, geen doping gebruikt (vals positief) – valse beschuldiging (rood).

 

Signaaldetectie 544x362

 Figuur 4-1. Beslissingskwadranten van de signaal-detectietheorie (naar Drenth & Sijtsma, 1990). 12 test-resultaten, 7 juiste (5 negatief en 2 positief) en 5 valse (3 negatief en 2 positief).


Een voorbeeld (Figuur 4-1): 12 sporters zijn getest op dopingmiddel X. Verticaal (y-as) is de dichotome werkelijke score uitgezet. Vijf sporters (1 t/m 5, rood) hebben middel X gebruikt en voldoen daarmee aan de kritische criterium-score: doping gebruikt. Zeven atleten (6 t/m 12, groen) hebben geen doping gebruikt en voldoen dus niet aan de kritische criterium-score. Horizontaal zijn de test-scores uitgezet, die variëren van ca. 38 tot 57. De kritische test-score is 50, zodat scores vanaf 50 voldoen aan de eisen van het criterium en dus worden aangemerkt als ‘doping gebruikt’.

Dit leidt tot het volgende resultaat. Vier sporters (4, 5, 11 en 12) scoren hoger dan de kritische test-score en wordt aangemerkt als doping-gebruiker. Twee atleten (11 en 12) gebruikten geen doping en zijn dus vals positieven, hun positieve test-scores zijn ontstaan uit meetfouten. Er zijn dus twee gebruikers gedetecteerd en twee vals beschuldigd. Drie gebruikers hebben geluk (1, 2 en 3). Om meer gebruikers op te sporen zijn er twee mogelijkheden:

1.  Het verbeteren van de validiteit en betrouwbaarheid van de test, waardoor het aantal fouten afneemt. Dat vergt vrijwel altijd langdurig en kostbaar wetenschappelijk onderzoek en is op korte termijn vrijwel nooit te realiseren, én perfectie bestaat niet. 
 2.  Om op korte termijn toch scherper te kunnen beslissen kan de kritische test-score verlaagd worden, waardoor meer gebruikers worden opgespoord.

Het verlagen van de kritische test-score heeft echter consequenties. Bij een grenswaarde van 45 sporen we vier en bij 40 zelfs alle vijf gebruikers op. Dat gaat echter onverbrekelijk samen met meer valse beschuldigingen (vals positieven). Bij een kritische test-score van 40 worden in dit voorbeeld zes van de zeven niet-gebruikers (7 t/m 12) vals beschuldigd. Als we in doping-zaken een kritische test-score van 0 (nul) hanteren sporen we honderd procent zeker alle gebruikers van middel X op, maar worden tevens alle niet-gebruikers vals beschuldigd voor doping-gebruik.

Om valse beschuldigingen te vermijden moet de kritische test-score omhoog, maar dat gaat dan onvermijdelijk samen met minder gedetecteerde gebruikers. Bij een kritische grens-waarde van 55, zijn er geen valse beschuldigingen meer, maar worden ook vier van de vijf gebruikers niet opgemerkt. Als we de kritische test-score gelijk maken aan de maximaal haalbare score, wordt niemand vals beschuldigd voor het gebruik van middel X, maar wordt ook geen enkele gebruiker ‘gepakt’.

Consequenties in de praktijk

De betrouwbaarheid en validiteit van een test zijn indicatoren voor de kwaliteit van die test en daarmee voor de te verwachten kans op foute resultaten. Door het verschuiven van de kritische test-score kunnen we bepalen in welke mate die fouten als vals negatief of vals positief worden beoordeeld. De keuze voor de juiste kritische test-score is afhankelijk van het doel van de test.

BorstkankertestBijvoorbeeld bij borstkanker-controles streven we naar een minimum aan vals negatieve fouten, zodat daar zeer lage kritische test-scores worden gehanteerd. Dat gaat echter onvermijdelijk samen met relatief veel positieve fouten en dat is heel vervelend voor vrouwen die met zo’n vals positieve diagnose voor borst-kanker geconfronteerd worden. Maar vals negatieve fouten kunnen hier catastrofaal zijn, als zich later alsnog borst-kanker openbaart en het mogelijk te laat is.

De website van Borstkankervereniging Nederland[2] geeft hier cijfers voor. Per 1000 gecontroleerde vrouwen ontstaan 20 foute diagnoses (2%)[2]. Daarvan zijn er ‘slecht’ 2 vals negatief en 18 vals positief. Dus bij 2 op de 1000 vrouwen wordt de borst-kanker niet ontdekt, terwijl 18 op de 1000 vrouwen onterecht het medisch circuit ingaan. Door de zeer lage kritische test-scores ontstaan er in verhouding veel vals positieven in vergelijking met het aantal vals negatieven (9:1).

Om te vermijden dat mensen onschuldig in het gevang komen, streeft het strafrecht, waarin de rechtszaak de test is, juist naar zo weinig mogelijk vals positieven. Daarom veroordeelt de rechter pas als schuld volgens hem wettig en overtuigend bewezen is (hoge kritische test-score). Daardoor gaan er altijd schuldige verdachten vrijuit. Desondanks zullen er ook altijd onschuldigen in de cel belanden. Maar in een rechtstaat moeten we streven naar een minimum van dergelijke juridische missers.

In dopingzaken spelen vals negatieve uitkomsten (wel gebruikt/niet gepakt) nauwelijks een rol. Buiten de niet gepakte gebruiker weet niemand dat. Een vals positieve beslissing leidt echter tot een valse beschuldiging van dopinggebruik met alle sportieve, financiële, maatschappelijke en psychosociale consequenties van dien en die zijn immens. Om dergelijke fouten zoveel mogelijk te vermijden zijn, net als in het strafrecht, realistisch hoge kritische test-score vereist.

In de Contador-case werd deze Spaanse wielrenner voor doping veroordeeld op basis van een extreem lage hoeveelheid clenbuterol in zijn urine (50 picogram per liter = 0,000000000050 gr/l), dat is bijna nul. Deze casus laat zien dat de antidopingwereld juist extreem lage kritische test-scores hanteert, terwijl daar, net als in het strafrecht, realistisch hoge kritische test-scores vereist zijn.

Die lage kritische test-scores zouden nodig zijn om voldoende doping-gebruikers op te sporen, aldus de antidoping community. Ons borst-kanker voorbeeld liet zien dat dat onverbrekelijk samengaat met in verhouding zeer veel valse beschuldigingen. In haar streven naar een 100% dopingvrijesport lijkt de antidoping beweging dit voor lief te nemen, ondanks dat één valse dopingbeschuldiging momenteel desastreus is voor de gehele carrière van een atleet. Les 6 laat zien dat bij een carrièrebreed perspectief van topatleten de kans op zo’n valse beschuldiging aanzienlijk is.

***


 << Les 3 Terug naar overzicht   Les 5 >>

Copyright © 2006-2022 - Dr. Bram Brouwer - All Rights Reserved