Tekst onder de verantwoordelijkheid van de Nederlandstalige redactie

Wanneer de onderzoekers van een systematische review en meta-analyse niet alle relevante informatie rond een bepaalde onderzoeksvraag op het spoor komen, bestaat er een reële kans dat rapporteringsbias de resultaten van de meta-analyse vertekent. Het niet terugvinden van alle relevante studies kan het gevolg zijn van een – door de auteurs zelf ingevoerde -  taalrestrictie (taalbias) of van het missen van weinig geciteerde studies tijdens een (aanvullende) manuele search in de literatuurlijsten van reeds gevonden studies (citation bias). In beide gevallen gaat het meestal om kleinere studies die minder frequent in Engelstalige tijdschriften gepubliceerd en geciteerd worden. Rapporteringsbias kan echter ook te maken hebben met het feit dat  bepaalde studies helemaal niet gepubliceerd zijn (publicatiebias). Studies die een gunstig effect van een nieuwe behandeling aantonen hebben veel meer kans op publicatie dan onderzoeken die geen verschil of zelfs ongunstige resultaten vinden (1,2). Een recent editoriaal over de tegenstrijdige conclusies van twee meta-analyses die het effect van neuraminidaseremmers op het voorkomen van lage luchtweginfecties bij influenza onderzochten (3), illustreert hoe belangrijk het is om eventuele rapporteringsbias op te sporen alvorens conclusies te trekken. Een funnel plot, die de puntschattingen van individuele studies uitzet tegenover hun steekproefgrootte, kan ons hierbij helpen… 

In elke studie geeft de gemiddelde waarde van alle metingen een puntschatting van het werkelijke effect van de interventie die we wensen te onderzoeken. De nauwkeurigheid van elke puntschatting wordt bepaald door de standaardfout, die evenredig is met de standaarddeviatie of de spreiding van de meetwaarden rond het gemiddelde en omgekeerd evenredig is met de steekproefgrootte (4,5). Bij een grote steekproef zal de standaardfout dus klein zijn en zal de puntschatting van de steekproef de werkelijke waarde van de uitkomstmaat in de populatie nauwkeurig benaderen. Door alle studies rond een bepaalde onderzoeksvraag in een systematische review samen te brengen, vergroot men de steekproefgrootte en zal het gemiddelde van alle puntschattingen van de verschillende studies een meer nauwkeurige puntschatting van het werkelijke effect opleveren. Zo bleek het gemiddelde relatieve risico van alle studies die het effect van preventieve gezondheidscontroles op mortaliteit onderzochten 0,99 (95% BI van 0,95 tot 1,03) te zijn (6). In tegenstelling tot wat sommige studies apart aantoonden bleek de interventie bij uitbreiding van de steekproef dus geen effect meer te hebben.

Het gemiddelde relatieve risico en de relatieve risico’s van de verschillende studies kunnen we uitzetten op de x-as van een scatterplot is een grafische samenvatting van bivariate data (twee variabelen) die het mogelijk maakt om te zoeken naar een lineaire correlatie of om een regressielijn te construeren. Elke eenheid draagt één punt bij aan de scatterplot en punten worden onderling niet verbonden. Een scatterplot wordt gebruikt bij het ‘screenen’ van de data in de eerste fase van analyse. Op deze wijze krijgt men informatie over het gemiddelde, de vorm van de verdeling, de extreme waarden (‘outliers’) en de ontbrekende waarden (‘missing values’).">scatter plot (zie figuur A). Door kleine toevallige verschillen tussen de studies onderling (bijvoorbeeld kleine verschillen in basiskarakteristieken) zullen er zich statistisch gezien langs beide zijden van de stippellijn (het gemiddelde relatieve risico) ongeveer evenveel studies bevinden. Op de y-as kunnen we vervolgens de inversie van de standaardfout van elke studie weergeven. Omdat de standaardfout omgekeerd evenredig is met de steekproefgrootte zullen grotere studies het effect nauwkeuriger inschatten (zie hoger) en dus niet alleen hoger op de y-as maar ook dichter bij de gemiddelde waarde van de meta-analyse liggen. Omgekeerd zullen kleinere studies zich meer uitspreiden op de bodem van de scatter plot. Indien er voldoende studies beschikbaar zijn bekomen we zo de typische trechtervorm van de funnel plot (7). Door het kleine aantal studies (N<10) komt deze trechtervorm in ons voorbeeld minder goed tot uiting. Omwille van de symmetrie kunnen we toch besluiten dat rapporteringsbias niet kan aangetoond worden, maar evenmin volledig uit te sluiten is.

Figuur A. Funnel plot voor studies die het effect van gezondheidscheck-ups op totale mortaliteit onderzochten (6).

Stel nu dat de auteurs enkele kleinere studies met een toegenomen relatief risico op mortaliteit over het hoofd hadden gezien (zie figuur B). Dan zou gemiddelde relatieve risico misschien 0,9 (= daling in mortaliteit) in de plaats van 1 geweest zijn. De asymmetrische funnel plot zou ons in dergelijk geval voor één of andere vorm van rapporteringsbias gewaarschuwd hebben.

Figuur B. Hypothetische funnel plot voor studies die het effect van gezondheidscheck-ups op totale mortaliteit onderzochten.

Een asymmetrische funnel plot kan echter ook veroorzaakt worden door andere factoren, zoals bijvoorbeeld heterogeniteit tussen de geïncludeerde studies (8). Als we voor de beneden- en bovengrens van het 95% betrouwbaarheidsinterval van het gemiddelde resultaat de respectievelijke standaardfouten berekenen en uitzetten op de funnel plot, bekomen we de helling van een diagonaal waaronder we 95% van de gevonden studies verwachten (9). Stel dat er teveel studies buiten deze zone vallen (zie figuur C), dan zal de asymmetrie van de funnel plot waarschijnlijk veroorzaakt zijn door heterogeniteit tussen de gevonden studies.

Figuur C. Hypothetische funnel plot voor studies die het effect van gezondheidscheck-ups op totale mortaliteit onderzochten.

Besluit

In een funnel plot worden de puntschattingen van de verschillende studies na een systematische zoektocht in de literatuur op de x-as uitgezet, samen met de gemiddelde waarde van de meta-analyse. De standaardfouten van de verschillende studies worden uitgezet op de y-as. Bij een voldoende aantal studies (>10) is het mogelijk om op basis van de symmetrie van de funnel plot rapporteringsbias aan te tonen en/of uit te sluiten.

Bron figuren: Krogsbøll LT, Jørgensen K, Larsen CG, Gøtzsche PC. General health checks in adults for reducing morbidity and mortality from disease: Cochrane systematic review and meta-analysis. BMJ 2012;345:e7191.

Referenties

1. Chevalier P, van Driel M, Vermeire E. Publicatiebias opsporen en corrigeren. Minerva 2007;6(8):134.
2. Roland M. Minerva: onafhankelijk en volledig? [Editoriaal] Minerva 2004;3(4):52.
3. Michiels B. Synthese van de evidentie herbekeken. [Editoriaal] Minerva 2012;11(10).
4. Sedgwick P. Standard deviation versus standard error. BMJ 2011;343:d8010.
5. Sedgwick P. Standard error of the mean. BMJ 2013;346:f532.
6. Baeten R. Zorgen preventieve gezondheidscheck-ups voor gezondheidswinst. Minerva 2014;13:15-6.
7. Sedgwick P. Meta-analyses: How to read a funnel plot? BMJ 2013;346:f1342.
8. Higgins JPT, Green S. Cochrane handbook for systematic reviews of interventions. Part 2: General methods for Cochrane reviews. Chapter 10: Addressing reporting biases.
9. Sterne JA, Harbord RM. Funnel plots in meta-analysis. The Stata Journal 2004;4:127-41.