Het is een open deur intrappen dat we als patiënt, gezondheidswerker en beleidsmaker overspoeld worden met de resultaten van wetenschappelijk onderzoek en dat we steeds meer nood hebben aan syntheses van primair studiemateriaal (1). Een systematisch literatuuronderzoek verzamelt op basis van een vooraf opgesteld studieprotocol gerandomiseerde gecontroleerde studies en/of observationele studies, waarvan de resultaten vervolgens gepoold kunnen worden in een meta-analyse of een netwerk meta-analyse. In heel wat bijdragen van Minerva werd het nut en de valkuilen van systematische reviews en meta-analyses (2-9), inclusief netwerk meta-analyses (10) besproken. Bovendien bespreken we in zo goed als elk nummer van Minerva minstens één systematische review en meta-analyse over een medisch of paramedisch onderzoeksdomein. Daarom zijn we ervan overtuigd dat onze trouwe lezers de waarde van een systematische review en (netwerk) meta-analyse correct kunnen inschatten.

Intussen heeft ook de hoeveelheid systematische reviews en meta-analyses pandemische proporties aangenomen. Vandaar dat nu ook systematische reviews en meta-analyses steeds meer gebundeld worden tot ‘overview systematische reviews’ of ‘review van reviews’ of nog ‘umbrella reviews’ (11). In dit nummer bespraken we een systematische review en meta-analyse over het nut van microbiota toegankelijke koolhydraten (MAC’s) in het dieet van diabetespatiënten (12,13). De onderzoekers beslisten echter om ook een umbrella reviews uit te voeren. Wat is een umbrella reviews eigenlijk en bestaan er hiervoor ook criteria om de methodologische kwaliteit te beoordelen? In het tijdschrift Evidence Based Mental Health alsook in Geneesmiddelenbulletin verschenen enkele nuttige bijdragen die ons hierbij kunnen helpen (11,14).

We zouden de kwaliteit van een umbrella reviews in tien punten kunnen samenvatten:

1.  Hebben we een umbrella reviews nodig om een klinisch relevante vraag te kunnen beantwoorden?

Dit is een belangrijke vraag om te voorkomen dat we overspoeld worden door een tsunami van umbrella reviews die eigenlijk niet nodig zijn om als zorgverlener kwaliteitsvolle zorg te kunnen blijven leveren. De beslissing om een umbrella reviews uit te voeren moet daarom voldoende gegrond zijn. Gaat het bijvoorbeeld om een controversieel onderwerp met tegenstrijdige bevindingen of werd potentiële bias van de onderzoeksresultaten nog niet systematisch onderzocht? Een oriënterend literatuuronderzoek met bijzondere aandacht voor verschillende meta-analyses over het onderwerp kan daarom een eerste stap zijn. Ten tweede moet het vooraf duidelijk zijn dat het wegnemen van onzekerheid rond een bepaald thema noodzakelijk is om onze klinische kennis te bevorderen. Tot slot moet vooraf nagekeken worden of er wel voldoende meta-analyses over het onderwerp bestaan. Ook hier kan een oriënterend literatuurzoektocht met eventuele uitbreiding naar andere en grotere databases zeker nuttig zijn. Hoe meer meta-analyses we kunnen samenvoegen, hoe groter de statistische power wordt en de nauwkeurigheid van de resultaten verbetert. Bijkomend kan hierdoor de focus rond de te onderzoeken topic verbreden en de klinische impact van de uiteindelijke resultaten groter worden.

Zo werd in de duiding over MAC’s een aanvullende umbrella reviews uitgevoerd om het nut van MAC’s uit te breiden naar het nut van álle bestaande dieetinterventies bij patiënten met type 2-diabetes. Volgens de onderzoekers is deze uitbreiding relevanter dan de focus op één dieetinterventie. Het is voor ons als clinicus inderdaad interessant om een zicht te krijgen op de plaats van MAC’s binnen het brede arsenaal aan dieetinterventies bij patiënten met type 2-diabetes.

2. Is er vooraf een studieprotocol opgesteld?

Zoals voor elke wetenschappelijke studie is het essentieel om het studieprotocol vooraf op te zetten en op te laden in een internationale databank zoals PROSPERO (15) of te publiceren in een open-access tijdschrift. Het protocol van de umbrella reviews moet duidelijk aangeven hoe de literatuurzoektocht, de data-extractie en de statistische analyse zal gebeuren. Ook moeten, zoals voor elke systematische review, vooraf specifieke in- en exclusiecriteria gedefinieerd worden. De rapportage van het literatuuronderzoek moet voldoen aan de Preferred Reporting Items for Systematic Reviews and Meta-analyses (PRISMA)-richtlijnen. Tot slot is het belangrijk dat de methodologische kwaliteit van de geïncludeerde meta-analyses beoordeeld wordt.

Het protocol van de umbrella reviews over MAC’s is beschreven in PROSPERO (16). Wat opvalt is dat in het protocol ook verwezen wordt naar het zoeken van meta-analyses van observationele studies. Dat vinden we echter niet meer terug in de uiteindelijke publicatie. De PRISMA-richtlijnen worden wel gebruikt voor de rapportage. De onderzoekers gebruikten de gevalideerde AMSTAR-2 tool om de methodologische kwaliteit van de meta-analyses te beoordelen.

3. Zijn er vooraf consistente en betrouwbare variabelen gedefinieerd?

Om de associatie tussen bepaalde onafhankelijke (zoals risicofactoren of interventies) en afhankelijke variabelen (meestal klinische uitkomsten) te kunnen onderzoeken in een umbrella reviews moeten deze variabelen vooraf duidelijk gedefinieerd worden. Hier primeert een pragmatische aanpak waarbij de variabelen van de verschillende meta-analyses zoveel mogelijk overgenomen worden. Het heeft geen zin om variabelen te groeperen of op te splitsen wanneer in de huidige literatuur hiervoor geen aanwijzingen bestaan. Dat kan extra belangrijk zijn wanneer het gaat om complexe (para-) medische interventies. Wanneer men hier teveel sleutelt aan de oorspronkelijke variabelen weet men achteraf vaak niet meer wat men aan het poolen is. Daaraan gekoppeld moet a priori ook gekozen worden of de primair gepoolde resultaten dan wel de gepoolde resultaten van subgroepanalyses gebruikt zullen worden. De voorkeur gaat meestal uit naar primair gepoolde resultaten omdat ze vaak de meeste power hebben. Wat wordt gedaan bij overlap wanneer twee of meer systematische reviews of meta-analyses ongeveer dezelfde variabelen onderzochten of ongeveer dezelfde individuele studies includeerden? Alleszins moet men vermijden dat dezelfde primaire onderzoeken meermaals in de umbrella reviews opgenomen worden (11) en zo de power van sommige resultaten onterecht opblazen. Op welke basis men de ene of de andere systematische review zal selecteren moet op voorhand vastliggen.

De umbrella reviews over MAC’s includeerde alleen meta-analyses die het effect van bestaande dieetinterventies op cardiovasculaire risicofactoren onderzochten. Wanneer er meer dan 1 meta-analyse met dezelfde klinische vraag gevonden zou worden, lag in het protocol op voorhand vast dat de meta-analyse met de hoogste AMSTAR 2-score en/of het grootste aantal geïncludeerde studies en/of de laagste heterogeniteit geselecteerd zou worden.

4. Is er een gemeenschappelijke effectmeting?

Afhankelijk van het onderzoeksdesign en de analysetechniek van de geïncludeerde studies, gebruiken systematische reviews en meta-analyses vaak verschillende meetinstrumenten om de effectgrootte in te schatten. Om in een umbrella reviews de effectgrootte voor alle uitkomstmaten op een eenvoudige manier te kunnen vergelijken is een gemeenschappelijke effectmaat noodzakelijk. Vaak moet men hiervoor de effectmaat van uitkomstmaten uit individuele meta-analyses converteren naar een andere vergelijkbare effectmaat, maar dat is echter niet altijd mogelijk. Zo kan men bijvoorbeeld uit een OR (odds ratio) geen RR (relatief risico) berekenen wanneer men de incidentie niet kent in de niet-blootgestelde groep. De waarden van HR’s (Hazard Ratio’s), IRR’s (Incidence Rate Ratio’s), OR’s en RR’s zijn wel vergelijkbaar wanneer de incidentie van de uitkomstmaat in de onderzoekspopulatie klein is (17). Ook zijn de waarden van Cohen’s d en Hedges’g vergelijkbaar wanneer de variantie tussen patiënten en controles niet te groot is en wanneer de steekproefgrootte niet te klein is. Voor de omzetting naar een andere effectmaat bestaan er verschillende wiskundige formules.

In de umbrella reviews over MAC’s herberekende men de effectgroottes van netwerk meta-analyses naar deze van de originele studies.

5. Is de heterogeniteit en zijn de potentiële bronnen van bias gerapporteerd?

Zoals voor elke systematische review moet een umbrella reviews ook de heterogeniteit en de potentiële bronnen van bias evalueren en rapporteren voor alle studies die in elke meta-analyse geïncludeerd zijn. De bewijskracht voor een effect zal kleiner zijn wanneer er tussen studies belangrijke heterogeniteit bestaat en wanneer er significante publicatie- en rapporteringsbias aanwezig is (3,4).

In de umbrella reviews over MAC’s werd er rekening gehouden met statistische heterogeniteit. Wanneer in een meta-analyse een fixed effects model gebruikt was, herberekende men alle resultaten met het random effects model op basis van de primaire studies. Wanneer een meta-analyse meer dan 10 studies includeerde zonder publicatiebias te rapporteren werd publicatiebias herberekend met de Egger’s test.

6. Wordt de graad van bewijskracht op een objectieve manier weergegeven?

Belangrijk is om hiervoor een gevalideerd instrument, zoals GRADE, te gebruiken.

In de umbrella reviews over MAC’s gebruikte men een specifiek instrument om de kwaliteit van het bewijs te beoordelen. De modified NutriGrade tool hield rekening met de methodologische kwaliteit van de geïncludeerde meta-analyses, alsook met de heterogeniteit en de publicatiebias.

7. Zijn er sensitiviteitsanalyses uitgevoerd?

Dit kan belangrijk zijn om gevonden associaties nauwkeuriger te onderzoeken.

Hiervan is geen sprake in de umbrella reviews over MAC’s.

8. Zijn de resultaten transparant gerapporteerd?

Om de resultaten weer te geven kunnen verschillende tabellen en diagrammen gebruikt worden. Hier geniet men een zekere vrijheid op voorwaarde dat de lezer een snel overzicht krijgt van de effectgrootte en de graad van evidentie voor de verschillende uitkomstmaten.

De samenvattende tabel in de publicatie over MAC’s vermeldt op een overzichtelijke manier de uitkomstmaten, alsook de kwaliteit van het bewijs voor het effect van verschillende dieetinterventies. De effectgroottes worden echter niet vermeld.

9. Is de geschikte meta-analytische sofware gebruikt?

De meta-analytische software moet voldoende sterk zijn om te kunnen accommoderen met random effects modellen, om de heterogeniteit tussen studies te kunnen onderzoeken, om betrouwbaarheidsintervallen te kunnen berekenen, om potentiële rapporteringsbias te kunnen opsporen.

Hierover vinden we niets terug, noch in de publicatie, noch in het protocol van de umbrella reviews over MAC’s.

10. Is er rekening gehouden met de beperkingen van umbrella reviews?

Zoals voor alle vormen van synthetiserend onderzoek kan een umbrella reviews alleen maar gebruik maken van wat onderzoekers eerder onderzocht en gepubliceerd hebben in primaire bronnen. Voor umbrella reviews komt hier natuurlijk nog bij dat primaire studies (RCT’s, observationele studies) ooit door een systematische review en meta-analyse geïdentificeerd moeten zijn. Bij twijfel over de volledigheid zou men eventueel voor elk subdomein een extra literatuuronderzoek kunnen uitvoeren. Men kan echter niet vermijden dat dit gepaard kan gaan met methodologische problemen, zoals het ontstaan van nieuwe subgroepen wat de interpretatie van de finale resultaten bemoeilijkt, het binnensluipen van nieuwe vormen van bias uiteindelijk, enz. Deze inspanning zou bovendien ook zoveel energie vragen dat ze het nut van een umbrella reviews in vraag stelt. We moeten ook goed beseffen dat een umbrella reviews naast het risico mogelijk belangrijke studies te missen ook veel beperkingen van de geïncludeerde studies kan adopteren.

Besluit

Zijn umbrella reviews nu de top van de piramide? Ja en nee. Wanneer ze correct worden uitgevoerd, misschien wel. Naast de hoger beschreven criteria kunnen we hier ook verwijzen naar een apart hoofdstuk over ‘overview of reviews’ in het handboek van de Cochrane Collaboration (18). In een ‘wetenschappelijke’ wereld die steeds sneller evolueert hebben umbrella reviews misschien wel een voordeel omdat ze sneller gemaakt kunnen worden dan systematische reviews (11). Anderzijds, en dat is eigenlijk niet verschillend met wat we vroeger reeds besloten over ‘gewone’ systematische reviews en meta-analyses, zijn ze maar zo sterk als de zwakste schakel, namelijk de RCT’s, de observationele studies en de kwalitatieve studies die het fundament van onze piramide vormen.

Referenties 

1. Vermeire E. Editoriaal: Synthese als permanente uitdaging. Minerva 2003;2(3):38-9.
2. Chevalier P, van Driel M, Vermeire E. Systematische reviews en meta-analyses: een inleiding. Minerva 2007;6(2):18.
3. Chevalier P, van Driel M, Vermeire E. Heterogeniteit in systematische reviews en meta-analyses. Minerva 2007;6(9):150.
4. Chevalier P, van Driel M, Vermeire E. Publicatiebias opsporen en corrigeren. Minerva 2007;6(8):134.
5. Chevalier P, van Driel M, Vermeire E. Meta-analyses: de evaluatie van methodologische kwaliteit. Minerva 2007;6(10):166.
6. Chevalier P. EBM-begrippen: een meta-analyse kritisch lezen…. Minerva 2008;7(4):64.
7. Michiels B. Zijn alle resultaten van systematische reviews toepasbaar in de eerste lijn? Minerva 2016;15(2):29-30.
8. Michiels B. Cochrane reviewers bij de neus genomen. Minerva 2010;9(8):85.
9. Michiels B. Synthese van de evidentie herbekeken. Minerva 2012;11(10):118.
10. Chevalier P. Netwerk meta-analyses: directe en indirecte vergelijkingen. Minerva 2009;8(9):136.
11. Stolk LM. Umbrella reviews van geneesmiddelen. GEBU 2020;54:117-20.
12. Verbeyst L. Het effect van microbiota toegankelijke koolhydraten (MAC’s) op cardiovasculaire risicofactoren bij volwassenen met type 2-diabetes. Minerva 2022;21(6):145-9.
13. Xu B, Fu J, Qiao Y, et al. Higher intake of microbiota-accessible carbohydrates and improved cardiometabolic risk factors: a meta-analysis and umbrella reviews of dietary management in patients with type 2 diabetes. Am J Clin Nutr 2021;113:1515-30. DOI: 10.1093/ajcn/nqaa435
14. Fusar-Poli P, Radua J. Ten simple rules for conducting umbrella reviews. Evid Based Ment Health 2018;21:95-100. DOI: 10.1136/ebmental-2018-300014
15. National Institute for Health Research. PROSPERO International prospective register of systematic reviews. Url: https://www.crd.york.ac.uk/PROSPERO
16. Available at Url: https://www.crd.york.ac.uk/PROSPERO/display_record.php?RecordID=120531
17. Michiels B. Relatief risico versus odds ratio. Minerva 2014;13(6):77.
18. Higgins JP, Thomas J, Chandler J, et al. (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022). Cochrane, 2022. Available from www.training.cochrane.org/handbook