Nascholing: EBM begrippen

Het probleem van het voortijdig stopzetten van studies kwam reeds herhaaldelijk ter sprake in Minerva. De auteurs van de PRO-active-studie sloten hun onderzoek voortijdig af op het moment dat het aantal cardiovasculaire gebeurtenissen voldoende hoog was (snellere rekrutering, minder studie-uitval en hogere incidentie van gebeurtenissen dan voorzien), terwijl ze geen significant effect konden aantonen voor de primaire samengestelde uitkomstmaat (1,2). In de ACCORD-studie was het verhoogde mortaliteitsrisico dat samenging met de intensieve diabetische behandeling de reden om de studie voortijdig te beëindigen (3,4). Wat zijn de motieven om een studie voortijdig te stoppen en wat zijn de hieraan verbonden risico’s?

Wat stellen we vast?

Dikwijls geven de auteurs niet duidelijk aan wat het motief was om de studie voortijdig af te sluiten. Men kan beslissen om een studie voortijdig te beëindigen wanneer de behandeling een duidelijk ongunstig effect heeft. Maar ook het omgekeerde is mogelijk: als in de behandelde groep de resultaten veel gunstiger zijn dan verwacht en het klinische voordeel zo groot is dat het niet correct zou zijn om deze behandeling te ontzeggen aan de controlegroep. Daarnaast kunnen ook commerciële belangen een rol spelen. Montori et al. publiceerden in 2005 in de JAMA een systematisch literatuuroverzicht van alle omwille van gunstige resultaten, voortijdig afgesloten studies (5). In medische tijdschriften met een hoge impactfactor steeg het aantal van 0,5% in 1990-1994 tot 1,2% in 2000-2004 (p<0,001 voor de trend). De meerderheid van deze studies was gepubliceerd in de vijf meest gerenommeerde tijdschriften. In deze RCT’s was gemiddeld slechts 63% van de geplande steekproef gerekruteerd (SD 25%). Deze studies stopten na één interimanalyse met een mediaan van 66 gebeurtenissen (IQR 23-195) die correspondeerden met het einde van de studie.

Wat zijn de consequenties?

In 2010 vergeleek dezelfde auteursgroep het effect van 91 voortijdig gestopte RCT’s met het effect van 424 RCT’s met dezelfde onderzoeksvraag maar die niet voortijdig waren stopgezet (6). Na een nauwgezette maar complexe analyse, berekenden de auteurs voor de gestopte versus de niet-gestopte RCT’s een gepoolde relatieve risico ratio van 0,71 (95% BI van 0,65 tot 0,77). Dat betekent dat in voortijdig gestopte RCT’s de effectgrootte groter was, vooral in RCT’s met kleine patiëntaantallen. In 2005 hadden ze reeds vastgesteld dat studies met het minste aantal gebeurtenissen voor de te evalueren uitkomstmaten, het grootste effect teweeg brachten (odds ratio 28; 95% BI van 11 tot 73). In een editoriaal van de JAMA geeft Pocock commentaar op de CHARM-studies over het effect van sartanen bij hartfalen (7). Bij de vierde interimanalyse met een mediane follow-up van één jaar bedroeg de risicoreductie 24% met een p-waarde van <0,001 (260/339 overlijdens voor resp. candesartan en placebo). Na de voorziene follow-up (mediaan 3,1 jaar) bedroeg de risicoreductie nog slechts 9% (resp. 886/945 overlijdens; p=0,055). Een voortijdige beëindiging (op het ogenblik dat de aanbevolen criteria bereikt waren!) zou dus geleid hebben tot een foutieve en te optimistische inschatting van het effect van de behandeling.

De stopregels

Montori et al. stelden ook vast dat 94% van de voortijdig gestopte studies (omwille van gunstige resultaten) niet voldeed aan minstens één van de essentiële voorwaarden om te stoppen: de initieel geplande steekproefgrootte, de interimanalyse waarna de behandeling zou kunnen gestopt worden, een vooraf bepaald statistisch criterium (voor de primaire uitkomstmaat) waarbij het verantwoord is om te stoppen en interimanalyses die zijn gecorrigeerd voor een vroegtijdige beëindiging (5). In een andere publicatie herneemt Pocock nog eens al deze algemeen aanvaarde stopregels en voegt eraan toe dat er voor elke RCT een Data Monitoring Committee (DNC) of een Data and Safety Monitoring Board vereist is om deze regels toe te passen (8). Volgens Pocock baseert men de beslissing om te stoppen best op een ‘wijs’ oordeel. Hij verwijst ook naar de aanbevelingen van CONSORT (Consolidated Standards of Reporting Trials) waarbij aan verschillende tijdschriften gevraagd wordt om voortijdig gestopte studies niet te publiceren indien deze niet voldoen of tegemoet komen aan de vereiste voorwaarden. Zijn oproep blijft blijkbaar zonder gehoor.

Besluit

Het is soms niet verantwoord een studie over een chronische aandoening voortijdig te beëindigen omwille van preliminair gunstige resultaten. We dienen de totaliteit van de beschikbare evidentie te evalueren, zowel in de betrokken studie als in reeds gepubliceerde studies over hetzelfde onderwerp. De beslissing om een studie voortijdig te stoppen is een afweging van het risico om een (nieuwe) effectieve behandeling te ontzeggen aan patiënten (waaronder de patiënten in de controlegroep van de studie) tegenover de noodzaak om op populatieniveau voldoende hard, niet aan het toeval te wijten bewijs te leveren voor het effect van een behandeling.

Referenties

1. Dormandy JA, Charbonnel B, Eckland DJA et al; PROactive investigators. Secondary prevention of macrovascular events in patients with type 2 diabetes in the PROactive Study (PROspective pioglitAzone Clinical Trial In macroVascular Events): a randomised controlled trial. Lancet 2005;366:1279-89.
2. van Driel M, Christiaens T. Pioglitazon bij diabetes: ongefundeerd optimisme. Minerva 2006;5(5):74-6.
3. Gerstein HC, Miller ME, Byington RP, et al. for the Action to Control Cardiovascular Risk in Diabetes Study Group. Effects of intensive glucose lowering in type 2 diabetes. N Engl J Med 2008;358:2545-59.
4. Chevalier P. Intensieve controle van type 2-diabetes en cardiovasculaire preventie. Minerva 2009;8(6):84-5.
5. Montori M, Devereaux P, Adhikari N, et al. Randomized trials stopped early for benefit. A systematic review. JAMA 2005;294:2203-9.
6. Bassler D, Briel M, Montori VM, et al. Stopping randomized trials early for benefit and estimation of treatment effects: systematic review and meta-regression analysis. JAMA 2010;303:1180-7.
7. Pocock S. When (Not) to stop a clinical trial for benefit. JAMA 2005;294:2228-30.
8. Pocock S, Wang D, Wilhelmsen L, et al. The data monitoring experience in the Candesartan in Heart failure Assessment of Reduction in Mortality and morbidity (CHARM) program. Am Heart J 2005;149:939-43.