Het Cochrane Handbook for Systematic Reviews of Interventions vermeldt de belangrijkste vormen van bias die men moet onderzoeken bij het includeren van studies in een systematische review: correcte randomisatieprocedure, concealment of allocation, blindering van patiënten, onderzoekers/clinici en beoordelaars, en onvolledige of selectieve vermelding van de resultaten (1). Alle goede meta-analyses, ook deze van de Cochrane Collaboration, onderzoeken momenteel deze verschillende vormen van bias.

Recent kwam nog een ander risico van bias aan het licht (2): de gunstige resultaten van studies binnen de intensieve zorg die slechts in één centrum waren uitgevoerd (unicenter studies) werden tegengesproken door studies waar meerdere centra aan deelnamen (multicenter studies).

Om het risico van deze vorm van bias te onderzoeken, zetten Dechartes et al. een meta-epidemiologische studie op (3). Hiervoor zochten ze via PubMed naar alle meta-analyses gepubliceerd over 24 maanden in de 10 tijdschriften met de hoogste impactfactor voor elk medisch onderzoeksdomein en in één uitgave van de Cochrane Collaboration (issue 4, 2008). Hun inclusiecriteria waren: studies over therapeutische of preventieve interventies met binaire uitkomstmaten en meta-analyses van zowel uni- als multicenter studies. Op de 1 695 gevonden meta-analyses, konden de auteurs er 48 selecteren met in het totaal 467 RCT’s, waarvan er 421 in aanmerking kwamen voor analyse (223 unicenter en 198 multicenter).

De meta-analyses én de RCT’s werden nauwkeurig geëvalueerd op basis van de Cochrane methodologie en de auteurs toetsten voor elke RCT de cijfergegevens aan de studiekenmerken.

Zowel voor de unicenter als voor de multicenter studies werd het effect van de interventie uitgedrukt in odds ratios. Vervolgens berekenden de auteurs de verhouding van deze odds ratios (=ROR, ratio of odds ratios) door middel van een metaregressie met het random effects model (dat rekening houdt met de heterogeniteit). Bij een ROR<1 is het effect van de interventie in de unicenter studies groter dan in de multicenter studies. Het onderzoek van Dechartes et al. gaf een ROR van 0,73 als resultaat (95% BI van 0,64 tot 0,83; I²-test 12,0%). Een sensitiviteitsanalyse die corrigeerde voor de steekproefgrootte van de RCT’s (kleiner in unicenter studies met gemiddeld 90 patiënten versus gemiddeld 243 patiënten in multicenter studies), voor het risico van bias in de RCT’s (minder frequent in de multicenter studies), voor concealment of allocation, voor de variantie van de log OR (eventuele publicatiebias) en voor de financieringsbron, toonde telkens opnieuw een statistisch significant verschil aan. Uit subgroepanalyses bleek dat de resultaten van de meta-analyses die alleen farmacotherapeutische interventies onderzochten, gelijklopend waren (ROR=0,80; 95% BI van 0,69 tot 0,93; I²=3,3%).

In een sensitiviteitsanalyse excludeerden de auteurs de meta-analyses die het meeste bijdroegen aan de heterogeniteit. Ook bij deze analyse bleef de ROR in dezelfde grootte-orde (0,79) én significant.

Dechartes et al. schuiven verschillende hypothesen naar voor om te verklaren waarom het effect van een interventie groter kan zijn in unicenter studies dan in multicenter studies.

Een eerste mogelijke verklaring is het ‘small-study effect’. Studies met een kleine onderzoekspopulatie leiden tot een groter effect van de onderzochte interventie. Publicatiebias zou een tweede verklaring kunnen zijn. Deze vorm van bias zou frequenter kunnen voorkomen in unicenter studies. In het onderzoek van Dechartes et al. konden twee studies geen significant verband aantonen tussen publicatiebias en het uitvoeren van de studie in één centrum, terwijl er in een derde studie wel een significant verband bestond.

Een derde hypothese is de mogelijkheid dat de methodologische kwaliteit van unicenter studies minder goed is in vergelijking met multicenter studies.

Op basis van de sensitiviteitsanalyses met correctie voor steekproefgrootte, voor variantie van de log OR en voor alle mogelijke vormen van bias, moesten de auteurs deze drie hypothesen echter verwerpen.

Er is nog een laatste hypothese die we daarentegen niet kunnen uitsluiten. In unicenter studies is de onderzoekspopulatie vaak homogener (sterk geselecteerd) en heeft het onderzoeksteam soms meer ervaring, wat belangrijk kan zijn bij de evaluatie van niet-farmacologische interventies.

De auteurs menen dat hun resultaten verder moeten bevestigd worden in andere steekproeven van meta-analyses, waarbij ook andere uitkomstmaten worden gebruikt (bv. continue en niet-binaire variabelen).

Dit onderzoek toont aan dat de effectgrootte in unicenter studies gemiddeld 27% hoger ligt dan in multicenter studies. Deze mogelijke vorm van bias moet nog bevestigd worden. Toch is het wenselijk dat auteurs van meta-analyses hiermee rekening houden, door sensitiviteitsanalyses uit te voeren om na te gaan of het uitsluiten van unicenter studies het effect van de interventie beïnvloedt.

Referenties

1. Higgins JP, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions. Version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org.
2. Bellomo R, Warrillow SJ, Reade MC. Why we should be wary of single-center trials. Crit Care Med 2009;37:3114-9.
3. Dechartres A, Boutron I, Trinquart L, et al. Single-center trials show larger treatment effects than multicenter trials: evidence from a meta-epidemiologic study. Ann Intern Med 2011;155:39-51.