Als je als arts een meta-analyse (MA) kritisch wil bekijken, zoek je een antwoord op volgende vragen: levert deze publicatie valide en nuttige elementen voor mijn dagelijkse praktijk; met andere woorden is deze meta-analyse klinisch relevant en statistisch valide, zonder bias?

De klinische relevantie van een meta-analyse slaat vooreerst op de onderzoeksvraag: gaat het over een aandoening of een situatie die ik bij mijn patiënten aantref? Zijn de geïncludeerde patiënten van de meta-analyse representatief voor de patiënten die mij consulteren? Zijn de geëvalueerde behandeling en de referentiebehandeling goed gekozen? Men moet ook, zoals voor elke publicatie, controleren of de uitkomstmaten adequaat zijn: harde en niet-intermediaire, klinisch relevante uitkomstmaten. De grootte van het effect (‘effect size’) na het poolen van de resultaten, zal ons ook informatie geven over de klinische relevantie van de resultaten van de meta-analyse.

De evaluatie van de methodologische kwaliteit moet oog hebben voor verschillende elementen, waarvan we er hier enkele bespreken.

De zoektocht in de literatuur

De zoektocht moet beschreven en systematisch uitgevoerd worden. Meerdere databanken moeten geconsulteerd worden. De zoektocht moet bij voorkeur exhaustief gebeuren met aandacht voor niet-gepubliceerde gegevens. Een meta-analyse die zich alleen baseert op een arbitraire keuze van studies, kan geen representatieve conclusies opleveren voor alle literatuurgegevens samen. De auteurs moeten onderzoeken of er een risico van publicatiebias is (1). Vervolgens moeten ze de studies selecteren op basis van valide evaluatiecriteria (minstens de Jadad-criteria). Ze dienen te motiveren waarom ze bepaalde studies uitsluiten.

Data-extractie en analyse van de resultaten

De data-extractie moet door verschillende personen (minstens twee) gebeuren en nadien gecontroleerd worden. De auteurs moeten adequate statistische technieken gebruiken om de heterogeniteit tussen de resultaten van verschillende studies op te sporen (2). In geval van statistische heterogeniteit dienen ze een gepast analysemodel te gebruiken (random effects model). Een sensitiviteitsanalyse kan belangrijke informatie opleveren. Zo kan zij bijvoorbeeld aantonen dat er geen voordeel bestaat wanneer enkel rekening wordt gehouden met de studies van hoge kwaliteit terwijl er wel een voordeel werd aangetoond voor het geheel van alle studies. Zij kan eveneens de studies die voor heterogeniteit zorgen uitsluiten.

Het vermelden van de resultaten

Alleen de resultaten van studies met voldoende methodologische kwaliteit mogen gepoold worden. Zij moeten ook gewogen worden in functie van de nauwkeurigheid van de verschillende studies; deze hangt grotendeels samen met het aantal geïncludeerde patiënten (maar ook met de incidentie van gebeurtenissen). In een meta-analyse zal een studie met een groot aantal patiënten meer doorwegen dan kleine studies, waardoor de resultaten van kleine studies kunnen verdwijnen. Zo weegt in de meta-analyse van Salpeter (3) de SMART-studie (4), met belangrijke beperkingen op gebied van methodologie en extrapolatie, zeer sterk op de resultaten van de meta-analyse. Dat ‘contamineert de meta-analyse’ met gegevens over toxiciteit van geneesmiddelen die in andere RCT’s niet even duidelijk waargenomen worden.

Interpretatie: technische aspecten

Om het risico van een verkeerde algemene conclusie te minimaliseren, moet men in een meta-analyse een p-waarde kiezen die kleiner is dan 0,05. Meestal wordt een p-waarde van <0,01 voorgesteld. Subgroepanalyses vertrekkende van gegevens van meerdere studies, vragen om evenveel voorzichtigheid als analyses die worden uitgevoerd bij een RCT (5). Het herhaaldelijke analyseren kan immers bijna steeds een uiteindelijk significant resultaat opleveren. Ten slotte moeten we voorzichtig zijn met de opgegeven number needed to treat (NTT) in een meta-analyse (6,7). Er zijn immers verschillen tussen de studies (o.a. het beginrisico) en voor de interpretatie van de resultaten van een meta-analyse met betrekking tot een bepaalde persoon, moeten we rekening houden met zijn/haar initiële risico. In geval alleen de meta-analyse, in tegenstelling tot alle of de meeste geïncludeerde studies, een significant resultaat aangeeft, is er enige consensus dat het resultaat van de meta-analyse niet volstaat (8).

Interpretatie: klinische besluiten

Zoals we reeds vaststelden in een vroeger editoriaal (9), kunnen verschillende meta-analyses over eenzelfde onderwerp tot verschillende conclusies leiden. Gewapend met enkele noodzakelijke tools, zal de practicus een meta-analyse dus op een kritische manier moeten lezen, wat trouwens het geval is voor elke publicatie. Wij hopen, op het einde van deze reeks van zes artikelen, dat Minerva een hulp was in deze benaderingswijze.

Referenties

1. Chevalier P, van Driel M, Vermeire E. Publicatiebias opsporen en corrigeren. Minerva 2007;6(8):134.
2. Chevalier P, van Driel M, Vermeire E. Heterogeniteit in systematische reviews en meta-analyses. Minerva 2007;6(9):150.
3. Salpeter SR, Buckley NS, Ormiston TM, Salpeter EE. Meta-analysis: effect of long-acting beta-agonists on severe asthma exacerbations and asthma-related deaths. Ann Intern Med 2006;144:904-12.
4. Nelson HS, Weiss ST, Bleecker ER, et al; SMART Study Group. The salmeterol multicenter asthma research trial: a comparison of usual pharmacotherapy for asthma or usual pharmacotherapy plus salmeterol. Chest 2006;129:15-26.
5. Chevalier P, van Driel M. De valkuilen van subgroepanalyses. Minerva 2006;5(10):154.
6. Smeeth L, Haines A, Ebrahim S. Numbers needed to treat derived from meta-analyses – sometimes informative, usually misleading. BMJ 1999;318:1548-51.
7. Marx A, Bucher HC. Numbers needed to treat derived from meta-analysis: a word of caution. Evid Based Med 2003;8:36-7.
8. Cucherat M. Méta-analyse des essais thérapeutiques. Ed Masson 1997, p. 390.
9. Chevalier P, van Driel M, Vermeire E. Meta-analyses: de evaluatie van methodologische kwaliteit. Minerva 2007;6(10):166.