Een belangrijk probleem bij systematische reviews en vooral bij meta-analyses is het bestaan van heterogeniteit tussen de geïncludeerde studies. Homogeniteit betekent dat alle resultaten van de geïncludeerde studies onderling vergelijkbaar zijn (1). Maar, als de studieresultaten niet homogeen zijn, is het door de heterogeniteit niet mogelijk om de resultaten zomaar te poolen

Heterogeniteit vaststellen

Er bestaat geen toets om homogeniteit van studies op te sporen. Eventuele heterogeniteit onderzoeken is echter wel mogelijk.

Studies kunnen heterogeen zijn op klinisch vlak. De geïncludeerde patiënten kunnen immers per studie verschillen, zowel wat diagnose als wat in- en/of exclusiecriteria betreft. De behandeling kan verschillen in dosering, duur of adjuvante behandeling. Ten slotte kunnen ook de eindpunten in de studies variëren. Klinische heterogeniteit kunnen we opsporen door zorgvuldig het protocol en de bestudeerde populatie van de oorspronkelijke onderzoeken te vergelijken.

Als de resultaten van de studies sterk uiteenlopen, kan er sprake zijn van statistische heterogeniteit. Dit kan verband houden met aanwezigheid van publicatiebias, methodologische tekortkomingen of gebruik van incorrecte uitkomstmaten (2). Statistische heterogeniteit kunnen we zien op de forest plots van de meta-analyse: de betrouwbaarheidsintervallen van het effect in de verschillende studies overlappen elkaar onvoldoende.

Er zijn ook testen beschikbaar om heterogeniteit op te sporen. Deze zijn nauwkeuriger, maar toch blijft het moeilijk om heterogeniteit vast te stellen (3). Een veel gebruikte methode is de Chi-kwadraat test (2). Deze test is echter niet erg goed in het detecteren van heterogeniteit (3). Volgens Haynes wordt de heterogeniteit door de test zelfs ‘gecamoufleerd’ of op zijn minst is ze onvoldoende informatief (4). Dit geldt niet voor de I²-test van Higgins et al (5), die toetst in welke mate studies onderling niet vergelijkbaar zijn (“inconsistency”). Een waarde van I² <0,25 wijst op geringe heterogeniteit, tussen 0,25 en 0,50 gaat het om matige en boven de 0,50 om sterke heterogeniteit.  

Hoe heterogeniteit interpreteren en ermee omgaan?

Wanneer auteurs heterogeniteit vaststellen, kunnen ze hier op verschillende manieren mee omgaan. Ze kunnen beslissen om geen meta-analyse uit te voeren en zich te beperken tot een systematische review. Ze kunnen ook, aan de hand van een sensitiviteitsanalyse, de studies uitsluiten die aanleiding geven tot de heterogeniteit. Hierin wordt onderzocht welk element in deze studies de heterogeniteit veroorzaakt. Ten slotte kunnen de auteurs verbanden zoeken tussen de resultaten en één of meerdere covariabelen door middel van subgroepanalyses, door een model op te bouwen van het effect op basis van de gepoolde resultaten of door gebruik te maken van uni- of multivariate modellen van individuele patiëntgegevens. We wezen reeds eerder op de beperkingen van subgroepanalyses en op het feit dat de resultaten ervan louter hypothesevormend zijn (6). Dit is vooral het geval wanneer de subgroepanalyses post hoc gebeuren en de patiënten dus niet via randomisatie in deze subgroepen terechtkomen. In alle meta-analyses gebeuren de subgroepanalyses post hoc.

Meta-regressie is een techniek waarbij een model van de effectgrootte wordt opgebouwd in functie van één of meerdere covariabelen. In geval van heterogeniteit kan het random effects model gebruikt worden, dat is ontwikkeld door DerSimonian en Laird. Bij dit model neemt men aan dat de gemeten verschillen in effect berusten op toevalsvariatie, maar ook op werkelijke variatie tussen studies. Deze techniek heeft echter ook beperkingen die vooral te maken hebben met de aard van de gepoolde gegevens en ze leert ons meestal niet méér dan een goed uitgevoerde subgroepanalyse (7). Een belangrijk nadeel van het random effects model is dat we een eventuele klinisch belangrijke interactie tussen een covariabele en het effect van de behandeling uit het oog verliezen. In geval van homogeniteit kunnen we gebruik maken van het fixed effects model, dat deze beperkingen niet heeft.

Om de valkuil van heterogeniteit te omzeilen kunnen onderzoekers voor hun meta-analyse de individuele patiëntdata gebruiken. Hierbij moeten ze van alle geïncludeerde patiënten de individuele gegevens opzoeken, de gedetailleerde patiëntkarakteristieken en de daarbij behorende resultaten. Zo kunnen alle mogelijke interacties beter worden geëxploreerd. Dat is een lastig karwei, maar het levert ook iets op: de mogelijkheid om survivalcurves te maken (het effect in verloop van de tijd), een standaardisering van de uitkomstmaten, multivariaatanalyses, nieuwe analyses met toepassing van intention to treat analyse, en, indien dat nog niet gebeurde, grondig onderzoek van de methodologische kwaliteit van de studies (7). Omgaan met heterogeniteit wordt zo een leerzame weg naar het formuleren van klinische conclusies. We dienen echter voorzichtig te blijven bij het interpreteren ervan, aangezien covariabelen, zowel binnen als tussen studies, tot vertekening van de resultaten kunnen leiden (2).

In Minerva bespraken we reeds enkele meta-analyses op basis van individuele patiëntgegevens (8,9). Met behulp van deze techniek kon men bijvoorbeeld binnen een groep kinderen met acute otitis media de kinderen identificeren die het meeste baat hadden van antibiotica. Een dergelijke betrouwbare en relevante klinische conclusie is slechts mogelijk wanneer met de individuele patiëntgegevens een nieuwe, voldoende grote groep kinderen met verhoogd risico gevormd kan worden. Het resultaat is een meta-analyse zonder heterogeniteit. 

Bij het lezen van een meta-analyse (we komen hier nog op terug) is het dus belangrijk na te gaan of de auteurs het bestaan van heterogeniteit onderzochten en of ze hiermee rekening hielden bij het kiezen van de analysetechnieken voor het poolen van de resultaten.

Ondanks de vele inspanningen om voor publicatiebias te corrigeren, moeten we toegeven dat er op dit moment voor dit probleem geen goede oplossing bestaat. Wanneer publicatiebias vastgesteld wordt, moeten de resultaten van de meta-analyse zeer voorzichtig geïnterpreteerd worden.

Literatuur

1. Greenhalgh T. How to read a paper. London: BMJ, 2000. 
2. Egger M, Smith GD, Altman DG. Systematic reviews in health care. Meta-analysis in context. London: BMJ, 2001.
3. Egger M, Smith GD, Phillips AN. Meta-analysis: principles and procedures. BMJ 1997;315:1533-7.
4. Haynes B. Conducting systematic reviews. In Haynes RB, Sackett DL, Guyatt GH, Tugwell P. Clinical epidemiology. How to do clinical practice research. London:Lippincott Williams & Wilkins 2006, p. 496.
5. Higgins JP, Thompson SG, Deeks JJ, Altman DG. Measuring inconsistency in meta-analyses. BMJ 2003;327:557-60.
6. Chevalier P. De valkuilen van subgroepanalyses. [Editoriaal] Minerva 2006;5(10):154.
7. Cucherat M. Méta-analyse des essais thérapeutiques. Ed Masson 1997, p. 390.
8. Rovers MM, Glasziou P, Appelman CL, et al. Antibiotics for acute otitis media: a meta-analysis with individual patient data. Lancet 2006;368:1429-35.
9. Chevalier P. Welke kinderen met OMA hebben baat bij antibiotica? Minerva 2007;6(2):32-3.