Nascholing: EBM begrippen

Notification bias (‘reporting bias’) (1)

Bias of vertekening is een systematische fout in onder meer de analyse, de resultaten of de conclusies van een onderzoek. Deze vertekening kan het werkelijke resultaat zowel over- als onderschatten, ofwel niet beïnvloeden. Het is dus correcter om te spreken over een ‘risico van bias’.

Notification bias wijst op een systematische fout bij het bekendmaken van de resultaten. Twee criteria zijn hierbij bepalend: de aard en de richting van de resultaten. In functie van deze twee criteria zijn er meerdere vormen van notificatiebias mogelijk. De meest bekende is publicatiebias. Publicatiebias betekent dat een studie met gunstige resultaten in het voordeel van een nieuwe behandeling meer kans heeft op publicatie dan een studie waarvan het resultaat niet gunstig is. Er zijn ook nog andere vormen van publicatiebias mogelijk: de publicatietijd voor een studie met gunstige resultaten duurt minder lang, deze studies krijgen gemakkelijker publicaties in tijdschriften met hoge impactfactor of studies gepubliceerd in het Engels vinden gemakkelijker hun weg naar referentielijsten. Bias bij het vermelden van uitkomsten is eveneens een vorm van notificatiebias.

Bias bij het weergeven uitkomsten (‘outcome reporting bias’)

Bias bij het weergeven van uitkomsten bestaat erin dat men voor de publicatie een deel van de gevonden resultaten selecteert. Soms gaat het om de primaire uitkomstmaten van een studie. Dwan et al. vergeleken in 2008 de publicaties van onderzoeken met het oorspronkelijke, vooraf gepubliceerde protocol (2). Ze toonden aan dat de auteurs in 40 tot 62% van de publicaties minstens één primaire uitkomst veranderden, toevoegden of verzwegen. Deze selectieve keuze van uitkomstmaten voor publicatie is vooral misleidend bij de evaluatie van de ongewenste effecten en de veiligheid van geneesmiddelen (3). Een dergelijke bias nauwkeurig opsporen lijkt niet evident. Hiervoor contacteert men best de auteurs van de oorspronkelijke studie ter bevestiging (4).

Kirkham et al. werkten een schema uit om deze vorm van bias in RCT’s op te sporen: ‘ORBIT’ (Outcome Reporting Bias in Trials) (5). Aan de hand van dit schema kunnen we nagaan of een bepaalde uitkomstmaat effectief gemeten en geanalyseerd is, of de resultaten volledig exact vermeld zijn en of er bepaalde elementen ontbreken. Kirkham et al. pasten dit schema toe op 283 systematische literatuuroverzichten van de Cochrane Collaboration. Meer dan de helft van deze reviews includeerde niet alle gegevens voor de primaire uitkomstmaat die de reviewers vooraf hadden gekozen. Eén derde van de reviews bevatte minstens één studie waarin zeer vermoedelijk bias bestond bij het vermelden van de resultaten van de gekozen primaire uitkomstmaat. De auteurs voerden een sensitiviteitsanalyse uit voor 81 reviews met meta-analyse beperkt tot slechts één primaire uitkomstmaat. Rekening houdende met de outcome reporting bias, verminderde het effect van de behandeling in minstens 23% van de gevallen met 20%. In één vijfde van de meta-analyses met volgens de auteurs statistisch significante resultaten, waren na correctie voor ‘outcome reporting bias’, de resultaten niet langer statistisch significant. In één studie op vier was het resultaat met minstens 20% overschat. De auteurs van dit opmerkelijk en zeer uitvoerig onderzoek besluiten dat bias bij het vermelden van uitkomsten een onderschat probleem is met een belangrijke impact op de resultaten van een meta-analyse.

Besluit

Bij het uitvoeren van systematische literatuuroverzichten van goede methodologische kwaliteit zoeken de auteurs meestal naar publicatiebias. De meeste auteurs hielden tot nu toe echter weinig rekening met bias bij het vermelden van uitkomsten. Aangezien ‘outcome reporting bias’ de resultaten van het literatuuroverzicht of van de meta-analyse kan beïnvloeden, is het nochtans zeer belangrijk om deze vorm van bias op te sporen. Wanneer we een meta-analyse kritisch lezen, moeten we er dus goed op letten of de auteurs deze vorm van bias wel degelijk opspoorden. Dat impliceert dat ze best contact opnemen met de auteurs van de oorspronkelijke RCT’s.

Referenties

1. Sterne JAC, Egger M, Moher D (editors). Chapter 10: Addressing reporting biases. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Intervention. Version 5.0.1 (updated September 2008). The Cochrane Collaboration, 2008. Available from www.cochrane-handbook.org. (consulté le 15 mars 2010)
2. Dwan K, Altman DG, Arnaiz JA, et al. Systematic review of the empirical evidence of study publication bias and outcome reporting bias. PloS ONE 2008;3:e3081.
3. Melander H, Ahlqvist-Rastad J, Meijer G, Beermann B. Evidence b(i)ased medicine – selective reporting from studies sponsored by pharmaceutical industry: review of studies in new drug applications. BMJ 2003;326:1171-3.
4. Higgins JPT, Altman DG (editors). Chapter 8: Assessing risk of bias in included studies. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.0.1 (updated September 2008). The Cochrane Collaboration, 2008. Available from www.cochrane-handbook.org.  (consulté le 15 mars 2010)
5. Kirkham JJ, Dwan KM, Altman DG, et al. The impact of outcome reporting bias in randomised controlled trials on a cohort of systematic reviews. BMJ 2010;340:c365.