Nascholing: EBM begrippen

 

In deze rubriek brengt de redactie korte teksten over gangbare begrippen in EBM. In maart 2007 verscheen al een eerste artikel in deze reeks over meta-analyses, publicatiebias, heterogeniteit van studies, methodologische kwaliteit van meta-analyses en het kritisch lezen van een meta-analyse.

Studies die een gunstig effect van een nieuwe behandeling aantonen hebben veel meer kans om gepubliceerd te worden, en vaak ook in verschillende vormen, dan onderzoeken die geen verschil of zelfs ongunstige resultaten vinden. Dit noemen we ‘publicatiebias’. Publicatiebias kan de schatting van het effect van een behandeling in een meta-analyse of systematische review vertekenen. Het is daarom belangrijk om eventuele publicatiebias op te sporen en, indien mogelijk, te corrigeren.

Er bestaan verschillende methodes om publicatiebias op te sporen. De meest gebruikte is de ‘funnel plot’ (een trechtervormige grafiek). Dit is een grafiek waarin langs de y-as de precisie van de studie (de standard error) (1) of de grootte van de steekproef wordt uitgezet tegen de grootte van het effect op de x-as (effect size). De punten in de grafiek zijn niet homogeen verdeeld, want studies met veel patiënten of met een nauwkeurige schatting van het effect liggen dichter bij de echte waarde van het effect dan kleinere of weinig nauwkeurige studies. Hierdoor ontstaat het beeld van een omgekeerde trechter. Aan de vorm van de grafiek kun je zien of er publicaties ontbreken. Een voorstelling in de vorm van een radiale plot wordt zelden toegepast.

 

In een relatief oude studie (1) vergeleek men voor eenzelfde onderzoeksvraag de funnel plots in meta-analyses uit de Cochrane Library (13% van de 38 meta-analyses) of in meta-analyses verschenen in tijdschriften (38% van de 37 meta-analyses) met de resultaten van RCT’s met veel patiënten (en dus met grotere precisie). Een asymmetrische funnel plot kon voorspellen dat de resultaten van de meta-analyse niet overeenkwamen met deze van de belangrijkste RCT. Als er duidelijke aanwijzingen zijn voor publicatiebias moeten we dus zeer voorzichtig zijn met het interpreteren van de resultaten van de meta-analyse. De funnel plot methode is echter niet altijd bruikbaar om publicatiebias op te sporen, vooral niet als er te weinig studies in de meta-analyse zijn opgenomen, wat vaak het geval is (2). Evenmin kun je het toepassen bij studies waarvan de resultaten zijn uitgedrukt als Odds ratio (3). Het is daarom vaak moeilijk om formeel het bestaan van publicatiebias aan te tonen en nog moeilijker is het om te bewijzen dat er geen publicatiebias is (4).

 

 

Wat kunnen auteurs van een meta-analyse doen aan het probleem van eventuele publicatiebias?

 

 

In eerste instantie kun je op verschillende manieren zoeken naar niet-gepubliceerde studies: navraag doen bij experten en posters of abstracts van congressen uitpluizen. Door niet-gepubliceerde studies op te nemen in de meta-analyse zou je een vollediger en correcter beeld hebben van de literatuur, hoewel sommigen hieraan twijfelen (5). Deze methode wordt steeds meer gebruikt. Maar je moet wel toegang hebben tot valide gegevens: de validiteit van systematische reviews of van meta-analyses die zich vooral baseren op abstracts van congressen is onvoldoende. Er bestaan vaak grote verschillen tussen de resultaten gerapporteerd in abstracts voor congressen en de uiteindelijke publicatie in een tijdschrift (6). Om de validiteit van niet-gepubliceerde gegevens te kunnen beoordelen, moeten we dus beschikken over het volledige klinische rapport van de studie. Vaak zullen we dan moeten vaststellen dat de methodologische kwaliteit van een niet-gepubliceerde studie zwak is (7).

‘Trim and fill’ is een andere methode om te corrigeren voor een belangrijke publicatiebias: de resultaten van de ‘ontbrekende studies’ worden ingevuld als tegenovergestelde van de resultaten van de geïdentificeerde publicaties. Vervolgens poolt men de resultaten opnieuw. In hun meta-analyses over het antidepressieve effect van Sint-Janskruid, doen Werneke et al. (8) enkele interessante analyses. Zij presenteren een cumulatieve meta-analyse: hierbij voegden ze de studies één voor één toe, op geleide van de publicatiedatum. Zij stelden vast dat de RR duidelijk en progressief afnam (van 4,03 na twee studies tot 1,73 na achttien studies). Tevens vulden zij met behulp van de ‘trim and fill’ methode de acht ontbrekende studies in de funnel plot in. In de meta-analyse van achttien studies was de RR voor Sint-Janskruid in vergelijking met placebo 1,73 (95% BI 1,40 tot 2,14), maar door het toevoegen van de ontbrekende studies verminderde de RR tot 1,30 (95% BI 1,03 tot 1,64; een betrouwbaarheidsinterval dat bijna niet meer statistisch significant is). Zij besluiten dan ook dat Sint-Janskruid in de behandeling van depressie wel eens minder effectief zou kunnen zijn dan voorheen werd gedacht.

 

 

Besluit

Ondanks de vele inspanningen om voor publicatiebias te corrigeren, moeten we toegeven dat er op dit moment voor dit probleem geen goede oplossing bestaat. Wanneer publicatiebias vastgesteld wordt, moeten de resultaten van de meta-analyse zeer voorzichtig geïnterpreteerd worden.

 

Literatuur

1. Egger M, Smith GD, Altman DG. Systematic reviews in health care. Meta-analysis in context. BMJ Books 2001.
2. Egger M, Smith GD, Schneider M, Minder C. Bias in meta-analysis detected by a simple, graphical test. BMJ 1997;315:629-34.
3. Peters JL, Sutton AJ, Jones DR, et al. Comparison of two methods to detect publication bias in meta-analysis. JAMA 2006;295:676-80.
4. Cucherat M. Méta-analyse des essais thérapeutiques. Paris: Masson,1997:390.
5. Cook DJ, Guyatt GH, Ryan G, et al. Should unpublished data be included in meta-analyses? JAMA 1993;269:2749-53.
6. Toma M, McAlister FA, Bialy L, et al. Transition from meeting abstract to full-length journal article for randomized controlled trials. JAMA 2006;295:1281-7.
7. Egger M, Jüni P, Bartlett C, et al. How important are comprehensive literature searches and the assessment of quality in systematic reviews? Empirical study. Health Technol Assess 2003;7:1-76.
8. Werneke U, Horn O, Taylor DM. How effective is St John’s wort? The evidence revisited. J Clin Psychiatry 2004;65:611-7.