Tijdschrift voor Evidence-Based Medicine
Hoe eindpunten van een studie de uitkomst kunnen veranderen: van protocol tot publicatie
Gabapentine: nog meer verwarring
Het Amerikaanse proces tegen de firma die gabapentine promootte voor niet-erkende indicaties, leerde ons veel over de strategie die firma’s hanteren om het voorschrijven van een geneesmiddel te bevorderen (1). Men organiseert medische navorming met de hulp van derden en werkt samen met opinion leaders die een positieve boodschap verspreiden over gabapentine onder collega’s. Potentiële voorschrijvers moedigt men aan om deel te nemen aan neponderzoek. Men doet beroep op medische communicatiebedrijven om artikels over gabapantine te schrijven en te publiceren in medische tijdschriften, maar ook om ervoor te zorgen dat de negatieve studies over gabapentine het daglicht niet zien.
Swaroop Vedula et al. onderzochten in 2009 de studies die de firma’s gebruikten voor de promotie van gabapentine buiten indicatie (2). Ze vonden 21 studies, waarvan ze 18 studies konden vergelijken met de oorspronkelijke protocollen en met de interne rapporten van de firma’s. Bij acht gepubliceerde studies verschilde het primaire eindpunt van het eindpunt beschreven in het protocol. Wanneer het interne rapport van de firma aantoonde dat het resultaat voor het primaire eindpunt van het protocol statistisch niet significant was (p≥0,05), vermeldde de studie dit eindpunt niet volledig ofwel werd het vervangen in de publicatie. In de acht gepubliceerde studies met significant gunstige resultaten voor gabapentine, werd het primaire eindpunt in vijf gevallen veranderd. De publicaties waren dus zeer selectief in het vermelden van de resultaten. Dit is een evidente misleiding van de voorschrijver wanneer hij het nut moet inschatten van een geneesmiddel buiten de erkende indicatie. Zien we hetzelfde gebeuren bij de promotie van geneesmiddelen met erkende indicatie?
Gepubliceerde, maar niet-geregistreerde eindpunten
Minerva wees reeds op een aantal manipulaties waarbij auteurs pogen in de conclusie van hun abstract de studieresultaten positief voor te stellen door te schuiven tussen primaire en secundaire eindpunten (3). We kunnen deze valse voorstelling ontdekken door aandachtig de gepubliceerde studie te lezen en te vergelijken met de voorpublicatie van het oorspronkelijke protocol. Dat speurwerk is echter niet altijd eenvoudig en bovendien is het arbeidsintensief.
De JAMA publiceerde in 2009 een systematisch literatuuroverzicht over dit probleem (4). De auteurs zochten in tien medische tijdschriften met de hoogste impactfactor naar RCT’s die in het jaar 2008 verschenen op het vlak van cardiologie, reumatologie en gastro-enterologie. Slechts voor 45,5% (147/323) van de gevonden RCT’s was de primaire uitkomstmaat van bij het begin duidelijk geregistreerd. Ook de registratie van deze wijdverspreide studies was ondermaats: 28% van de RCT’s was niet geregistreerd, 14% was alleen geregistreerd op het einde van de studie, 12% was geregistreerd zonder omschrijving van het primaire eindpunt (of met een vage omschrijving) en een aantal RCT’s combineerde een aantal van deze ongeregeldheden.
Verandering van de geregistreerde eindpunten
In hetzelfde literatuuronderzoek stelden de auteurs in 46 van de 147 (ongeveer 30%) adequaat geregistreerde studies verschillen vast tussen de eindpunten op het ogenblik van registratie en de gepubliceerde eindpunten. Wanneer de impact van deze verschillen kon onderzocht worden, was dit in 83% van de gevallen in het voordeel van statistisch significante resultaten.
De Annals of Family Medicine publiceerde hierover in 2009 een observationeel onderzoek van RCT’s die over een periode van zes maanden verschenen in de ‘big five’ (5). De auteurs includeerden alleen studies waarvan de registratie publiek toegankelijk was. Ze excludeerden secundaire publicaties en studies met een vaag of een niet-omschreven primair eindpunt waardoor analyse onmogelijk was. In 31% van de publicaties was het primaire eindpunt veranderd. Meestal was het weggelaten, soms was er een item toegevoegd aan het samengestelde eindpunt en in meer zeldzame gevallen was het primaire eindpunt vervangen door het secundaire. Bij analyse van de secundaire eindpunten waren de veranderingen nog imposanter: 70% van de publicaties veranderde deze eindpunten op dezelfde manier (hierbij ook vervanging van het secundaire eindpunt door het primaire). Dezelfde auteurs stelden geen verschil vast tussen de industriegefinancierde studies en de als niet-commercieel voorgestelde studies, wat weinig geruststellend is.
Betere garanties voor de betrouwbaarheid van publicaties
Deze telkens terugkerende vaststelling van manipulaties van eindpunten in gerenommeerde publicaties zijn verontrustend. Dit soort manipulatie kan zorgverstrekkers misleiden bij het trekken van conclusies uit statistisch significante resultaten of uit het ontbreken van resultaten voor eindpunten die men altijd vooraf best transparant definieert. Medische tijdschriften en hun peer reviewers dienen erop toe te zien dat het studieprotocol publiek toegankelijk is vooraleer de studie start en dat bij de publicatie van de resultaten alle vooraf gekozen eindpunten correct vermeld worden.
Referenties
- Chevalier P, De Meyere M. Achter de schermen van de navorming: de promotie van gabapentine. [Editoriaal] Minerva 2007;6(3):35.
- Vedula SS, Bero L, Scherer RW, Dickersin K. Outcome reporting in industry-sponsored trials of gababentin for off-label use. N Engl J Med 2009;361:1963-71.
- Lemiengre M, van Driel M. Marketing van primaire en secundaire eindpunten. [Editoriaal] Minerva 2006;5(5):69.
- Mathieu S, Boutron I, Moher D, et al. Comparison of registered and published primary outcomes in randomized controlled trials. JAMA 2009;302:977-84.
- Ewart R, Lausen H, Millian N. Undisclosed changes in outcomes in randomized controlled trials: an observational study. Ann Fam Med 2009;7:542-6.
Commentaar
Commentaar