Als de resultaten van gerandomiseerde, gecontroleerde studies een positief effect aantonen van een interventie in de gezondheidszorg, is het voordeel meestal maar matig. Toch komen in RCT’s soms zeer sterke effectgroottes voor in vergelijking met bestaande of inactieve behandelingen. Dan is het verleidelijk om deze interventies in de praktijk toe te passen en zou men kunnen veronderstellen dat verder, kostbaar onderzoek niet meer nodig is. Vanuit het equipoise-principe (1) is het in deze omstandigheden soms moeilijk op ethisch vlak om verder onderzoek te verantwoorden. Equipoise veronderstelt dat er, bij het opzetten van RCT’s met vergelijking van verschillende therapeutische opties en met een groep patiënten die de betrokken interventie niet zal toegewezen krijgen, voldoende onzekerheid moet bestaan over de werkzaamheid van een interventie. Het is zeker verdienstelijk om geen middelen te verspillen aan overbodig onderzoek (2,3) en de vraag vanaf welk moment men als clinicus een interventie zal toepassen, is fundamenteel.

 

Nagendran et al. publiceerden in de BMJ (2016) een artikel waarin ze onderzochten in hoeverre grootschalig onderzoek het zeer grote effect van een behandeling dat vroeger vastgesteld was in een RCT, nadien kan bevestigen (4). De auteurs includeerden alle forest plots van de Cochrane Database of Systematic Reviews met minstens 1 index-RCT. Ze definieerden de index-RCT als een RCT met een zeer groot effect (relatief risico ≤0,2 of ≥5) voor een binaire primaire uitkomstmaat en met een statistisch significant verschil (p<0,05), gevolgd door minstens 1 grootschalige validatiestudie (minstens 200 events en 200 non-events voor dezelfde uitkomstmaat). De auteurs excludeerden subgroepanalyses of sensitiviteitsanalyses. Slechts 44 forest plots (van de 85 002) voldeden aan de inclusiecriteria, amper 0,05% dus. De auteurs besluiten dat het risico van bias in de index-RCT’s zelden gering is. De index-RCT’s bevatten ook weinig gebeurtenissen (mediaan 14). In 43% van de forest plots was er geen statistisch significant effect meer in dezelfde richting (95% BI van 29 tot 58) en in 43 van de 44 forest plots daalde het statistisch significante effect van de behandeling bijna systematisch in de verdere studies. Bij deze geselecteerde studies zien we dus dat verder grootschaliger onderzoek de indrukwekkende resultaten van index-RCT’s over het algemeen minimaliseert.

 

Hoe gaan we als clinicus en als kritische lezer om met RCT’s die een sterk effect aantonen van een interventie? Of wat zou kunnen wijzen op twijfels over de klinische relevantie van dergelijke resultaten? In de ‘User’s Guide to the Medical Literature’ van de JAMA geeft Gordon Guyatt enkele redenen aan om alert te zijn tegenover goede studieresultaten, o.a. het risico van bias, vooral door selectieve rapportering van de resultaten, en het risico dat er later ernstige maar zeldzame ongewenste effecten optreden (5). Hij stelt voor om zeer kritisch te zijn tegenover resultaten van gerandomiseerde studies met een relatieve risicoreductie van meer dan 50%, vooral als het aantal gebeurtenissen gering is (bijvoorbeeld kleiner dan 100) en nog meer als de studie vroegtijdig werd beëindigd omwille van positieve resultaten zonder vooraf vastgelegde uitkomstmaat (geen valide p-waarde en 95% BI in dit geval). Eerder is al vastgesteld dat uitzonderlijk goede resultaten van studies (ook goed opgezette en intern valide studies) nadien lijken af te nemen door een regressie naar het gemiddelde (6). Volgens Nagendran et al. lijkt er in hun steekproef geen effectgrootte te zijn die voldoende groot is om zeker te zijn dat verder betrouwbaar onderzoek altijd zal leiden tot een significant effect.

Terwijl deze bevindingen dus eerder aanzetten om het onderzoek van een klinische vraag niet te snel te stoppen, bestaat er ook een risico om te lang verder te gaan met onderzoek.

Klassiek onderzoek van Antman in de jaren ’90 toont bij middel van gecumuleerde meta-analyses goed aan wat er speelt bij de beslissing om tijdig te stoppen (niet te vroeg, niet te laat) met een studie over een klinische vraag (7).

In een cumulatieve meta-analyse voegt men volgens publicatiedatum één na één nieuwe studies toe aan het model en berekent men opnieuw het globale effect. Op die manier kunnen we retrospectief de evolutie van het beschikbare bewijs over een interventie opvolgen. Historisch gezien onderstreept dit soort onderzoek het belang op zich om meta-analyses uit te voeren die op een systematische manier de beschikbare evidentie over een bepaalde vraag weergeven. Het onderzoek van Antman toont aan dat er vanaf de tiende studie (midden jaren ’70) over het effect van trombolyse bij patiënten met acuut myocardinfarct een statistisch significant effect merkbaar was van trombolyse bij deze populatie. Pas 20 jaar en 60 studies verder stopt het onderzoek over deze klinische vraag en nemen richtlijnen de interventie op! Ook al betekent statistisch significant niet altijd klinisch relevant, en is het wachten om een interventie aan te passen begrijpelijk en soms aannemelijk, toch het is mogelijk dat een groot deel van de latere studies nutteloos was en dat het wachten met de toepassing van de interventie niet gunstig was voor deze patiënten.

De sterkte van een niveau van bewijskracht is niet onveranderlijk, maar kan evolueren naarmate er meer gegevens beschikbaar komen. Ook al wijst Antman op een zekere traagheid bij zorgverleners om soms nuttige interventies te implementeren, toch geeft de publicatie van Nagendran et al. in de BMJ enkele EBM-argumenten aan om open en kritisch te blijven tegenover zeer gunstige resultaten van nieuwe interventies.

 

 

Referenties 

1. Kurzrock R, Stewart DJ. Equipoise abandoned? Randomization and clinical trials. Ann Oncol 2013;24:2471-4. DOI: 10.1093/annonc/mdt358
2. Chalmers I, Glasziou P. Avoidable waste in the production and reporting of research evidence. Lancet 2009;374:86-9. DOI: 10.1016/S0140-6736(09)60329-9
3. Glasziou P, Chalmers I, Rawlins M, McCulloch P. When are randomized trials unnecessary? Picking signal from noise. BMJ 2007;334:349-51. DOI: 10.1136/bmj.39070.527986.68
4. Nagendran M, Pereira TV, Kiew G, et al. Very large treatment effects in randomised trials as an empirical marker to indicate whether subsequent trials are necessary: meta-epidemiological assessment. BMJ 2016;355:i5432. DOI: 10.1136/bmj.i5432
5. Guyatt GH, Rennie D, Meade MO, Cook DJ. Users' guides to the medical literature: a manual for evidence-based clinical practice, 3rd ed. New York: McGraw-Hill, 2015.
6. Pereira TV, Horwitz RI, Ioannidis JP. Empirical evaluation of very large treatment effects of medical interventions. JAMA 2012;308:1676-84. DOI: 10.1001/jama.2012.13444
7. Antman EM, Lau J, Kupelnick B, et al. A comparison of results of meta-analyses of randomized control trials and recommendations of clinical experts. Treatments for myocardial infarction. JAMA 1992;268:240-8. DOI: 10.1001/jama.1992.03490020088036