Regelmatig stellen we vast dat de resultaten van een meta-analyse of systematische review niet overeenstemmen met de resultaten van een andere meta-analyse of systematische review over hetzelfde onderwerp (1). Hoe is dat nu mogelijk?

Allereerst gaan we na over welk soort meta-analyse het gaat. Includeert men alleen RCT’s, of alleen observationele studies, of beide, of ook kwalitatief onderzoek? De resultaten van een meta-analyse van RCT’s kunnen namelijk verschillen van de resultaten van een meta-analyse van observationeel onderzoek. Dat is bijvoorbeeld het geval bij de evaluatie van het cardiovasculaire risico van COXIBs (2). Maar, zelfs als je bijvoorbeeld alleen RCT’s opneemt in de meta-analyse, kun je ook andere selectiecriteria toevoegen, zoals de context van de studie, de gebruikte uitkomstmaten, de duur, of het minimale aantal geïncludeerde patiënten. Hierdoor kan het eindresultaat variëren. Het belangrijkste punt lijkt echter de methodologische kwaliteit van de geïncludeerde studies. 

Kwaliteit van de studies

Voor het beoordelen van de methodologische kwaliteit van een RCT wordt vaak de Jadadscore gebruikt (3). Er zijn echter ook andere scoresystemen. Jüni et al. vonden 26 scorelijsten (4). Ze gebruikten er 25 om een meta-analyse van 17 studies uit te voeren, waarin een LMWH vergeleken werd met heparine ter preventie van postoperatieve trombo-embolie. Naargelang de gebruikte scorelijst (met een range van 3 tot 34 items) tonen studies met een betere kwaliteitsscore wel of geen voordeel van LWMH in vergelijking met heparine. De auteurs besluiten dat sommige methodes niet geschikt zijn om de studies met goede methodologische kwaliteit te identificeren. Zij pleiten ervoor om methodes te gebruiken die de Jadadscore opnemen (‘concealment of allocation’, dubbelblind, studieuitval en stopzetten van de studie). Volgens hen kunnen meta-analyses met kleine studies en discutabele kwaliteit, ondanks allerlei statistische correcties, grote studies met een goede studieopzet niet vervangen. Uitsluitend de Jadadscore gebruiken heeft echter ook beperkingen. In Minerva bespraken we een meta-analyse die de werkzaamheid van probiotica onderzocht (5) en een protectief effect vaststelde tegen diarree. In deze meta-analyse werden alleen studies opgenomen met een hoge Jadadscore (>3). Een andere meta-analyse die alleen studies groepeerde met intention to treat analyse, vond echter geen voordeel van probiotica (6). 

Het effect van lage kwaliteit

Met andere scoresystemen kan de methodologische kwaliteit van studies nauwkeuriger geëvalueerd worden (zoals bijvoorbeeld die van het ‘Dutch Cochrane Center’ en ‘SIGN’). Egger et al. (7) onderzochten of het niet-includeren van moeilijk op te sporen studies (ongepubliceerd, niet in het Engels, gepubliceerd in tijdschriften niet opgenomen in Medline) of van studies met lage methodologische kwaliteit (inadequate of onduidelijke blindering van de randomisatieprocedure, niet dubbelblind) de schatting van het gepoolde effect, de p-waarden en de vorm van de funnel plot beïnvloedt. Moeilijk vindbare studies zijn vaak van lage kwaliteit. In- of exclusie van deze studies heeft een effect op de uitkomst. Egger et al. benadrukken dat het beter is om te investeren in een grondige evaluatie van gemakkelijk te vinden studies, dan in het opsporen van quasi onvindbare studies.  Vele auteurs evalueren de methodologische kwaliteit van studies zorgvuldig, maar houden geen rekening met hun bevindingen bij het poolen van de studies in de meta-analyse. Resultaten van studies met lage methodologische kwaliteit zouden niet geïncludeerd mogen worden, omdat hierdoor de betrouwbaarheid van het resultaat in gevaar komt (7,8). Moja et al. (9) onderzochten 965 systematische reviews (809 Cochrane reviews en 156 gepubliceerd in tijdschriften). Bij 88,5% van de reviews werd de methodologische kwaliteit wel onderzocht, veelal aan de hand van de Jadadscore. Maar, slechts 51,4% van de reviews hield hiermee rekening bij het interpreteren van de resultaten.

Conclusies van meta-analyses zijn onderhevig aan (subjectieve) interpretatie van de auteurs. Zo vonden Jorgensen et al. (10) dat voor eenzelfde geneesmiddel systematische reviews gesponsord door de farmaceutische industrie, gunstiger resultaten rapporteren dan de reviews van de Cochrane Collaboration.

Dat betekent dus dat we altijd waakzaam moeten blijven bij het lezen van meta-analyses.

Referenties

1. Van Driel M. De meta-analyse mammografisch doorgelicht. Editoriaal. Huisarts Nu (Minerva) 1998;27(2):268-9.
2. Chevalier P, van Driel M. Coxibs, andere NSAID’s en cardiovasculair risico. Minerva 2006;5(10):161-3.
3. Jadad AR, Cook DJ, Jones A, et al. Methodology and reports of systematic reviews and meta-analyses: a comparison of Cochrane reviews with articles published in paper-based journals. JAMA 1998;280:278-80.
4. Jüni P, Witschi A, Bloch R, Egger M. The hazards of scoring the quality of clinical trials for meta-analysis. JAMA 1999;282:1054-60.
5. Sazawal S, Hiremath G, Dhingra U, et al. Efficacy of probiotics in prevention of acute diarrhoea: a meta-analysis of masked, randomised, placebo-controlled trials. Lancet Infect Dis 2006;6:374-82.
6. Johnston B, Supina A, Vohra S. Probiotics for pediatric antibiotic-associated diarrhea: a meta-analysis of randomized placebo-controlled trials. CMAJ 2006;175:377-83.
7. Egger M, Juni P, Bartlett C, et al. How important are comprehensive literature searches and the assessment of trial quality in systematic reviews? Empirical study. Health Technol Assess 2003;7:1-76.
8. Cucherat M. Méta-analyse des essais thérapeutiques. Ed Masson 1997, p. 390.
9. Moja LP, Telaro E, D’Amico R, et al. Assessment of methodological quality of primary studies by systematic reviews: results of the metaquality study cross sectional study. BMJ 2005;330:1053-5.
10. Jorgensen AW, Hilden J, Gotzsche PC. Cochrane reviews compared with industry supported meta-analyses and other meta-analyses of the same drugs: systematic review. BMJ 2006;333:782-6.