Systematische reviews worden vandaag vaak aangewend als basis voor het nemen van een gefundeerde therapeutische beslissing. Systematische reviews die vergelijkbare (gerandomiseerde) klinische studies bundelen, worden hiertoe ook opgenomen in op evidentie gebaseerde richtlijnen (bijvoorbeeld de Duodecim-EBM-richtlijnen van EBMPracticeNet (1)) en kunnen een grote impact hebben op de medische praktijk en haar evolutie. Dat laatste houdt evenwel een risico in. De mate waarin een dergelijke systematische review effectief waardevol kan zijn, hangt sterk af van de kwaliteit van de geïncludeerde studies. Studies kunnen vertekend of gebiased zijn op een of meerdere domeinen: design, uitvoering, analyse of rapportage.    

Nemen we het voorbeeld van otitis media met effusie bij kinderen. De gerandomiseerde studies die een voordeel (volledige resolutie) aantoonden van het gebruik van orale antibioticakuren (weliswaar met meer bijwerkingen) (2), kunnen vertekend zijn op het gebied van de toewijzing van de deelnemers (allocation bias) of op het gebied van de blindering van de deelnemers en de onderzoekers (performance bias).

In een ander voorbeeld van een RCT waarin onderzocht werd of fysieke activiteit tijdens de zwangerschap protectief is tegen het ontwikkelen van zwangerschapshypertensie bij de vrouw en macrosomie bij het pasgeboren kind, bleek een begeleide fysieke activiteit duidelijk beschermend te zijn. De vrouwen werden at random aan een groep toegewezen (‘advies tot bewegen’ of ‘begeleide oefeningen’). Na randomisatie was het mogelijk om vrouwen met ‘te veel’ fysieke activiteit alsnog te excluderen. Geen enkele vrouw in de controlegroep kwam uiteindelijk voor exclusie in aanmerking (3). Gelukkig, want deze vorm van performance bias (door een andere aanpak van controle en actieve arm) had mogelijks tot een overschatting van de effectgrootte geleid (4).

 

De Cochrane Collaboration ontwikkelde reeds in 2008 een tool waarmee men bij elke studie de mogelijke bronnen van vertekening of bias kan opsporen: de Cochrane tool for assessing risk of bias in randomized clinical trials. Deze tool werd in 2011 geüpdatet en bevat 7 domeinen van bias waarnaar gepeild wordt bij de inclusie van een studie in een systematische review (5).

 

1. Sequence generation kan een vorm van selectiebias zijn wanneer de toewijzing van de proefpersonen aan een studie-arm niet op een methodologisch correcte manier gebeurt. Een voorspelbare methode (bijvoorbeeld een paar inclusienummer betekent ‘actief’ en een onpaar nummer ‘controle’) kan tot selectieve toewijzing leiden (bijvoorbeeld van ziekere patiënten aan een bepaalde voorkeursarm) of zelfs tot het niet includeren van patiënten 6).
2. Allocation concealment kan een vorm van selectiebias zijn wanneer de toewijzing van de proefpersonen niet geheim gebeurt (dichtgeplakte enveloppes zijn bijvoorbeeld een hoger risico op deze vorm van bias dan een centraal randomisatiesysteem of een blokrandomisatie) (7).
3. Performance bias treedt op wanneer de blindering van deelnemers en behandelaars niet adequaat blijkt of als er elementen zijn die de interventiegroep doen verschillen van de controlegroep. In dat geval valt men terug op de risico’s die verbonden zijn aan niet-geblindeerd onderzoek (8).
4. Detection bias treedt op wanneer de evaluatoren niet geblindeerd zijn (geen driedubbele blindering) en beïnvloed kunnen worden (9).
5. Attrition bias is het onvolledig zijn van uitkomstgegevens (zoals door studie-uitval).
6. Reporting bias is het selectieve rapporteren van uitkomsten (10,11).
7. Vormen van bias die niet in domeinen 1 tot 6 aan bod zijn gekomen, vallen onder het domein ‘andere’.

 

Voor elk domein wordt het risico op vertekening ingeschaald als gering, hoog of onduidelijk. De rapportage van een dergelijke bias-analyse moet de lezer een goede inschatting geven van de interne validiteit van de uiteindelijke boodschap van de systematische review, of anders gesteld, het risk of bias-profiel van elke studie moet duidelijk maken in hoeverre de interne validiteit in meer of mindere mate ‘bedreigd’ wordt.

In het ideale geval wordt een - vooraf gedefinieerde - sensitiviteitsanalyse beschreven. Hierbij worden in een aparte analyse studies met het hoogste risico op bias geweerd. Vervolgens wordt nagegaan of de eindconclusie dezelfde blijft. Zo ook werd in de systematische review van de otitis media met effusie-studies bij kinderen, een hoog risico op allocation bias a priori genoteerd als een valabele reden om een sensitiviteitsanalyse te voorzien (2).

 

Echter, het toepassen van de tool werpt soms meer vragen op dan het antwoorden biedt.

Vooreerst dient duidelijk te worden gesteld dat deze tool niet peilt naar de uitvoeringsfouten van de systematische review zelf, maar alleen naar de potentiële bias die in de geïncludeerde studies voorkomt. Verder is het belangrijk in te zien dat de risk of bias tool enkel de interne validiteit controleert. De otitis media met effusie-studies bleken uiteindelijk een correcte toewijzing van deelnemers te hanteren maar dit zegt ons niets over de externe validiteit of generaliseerbaarheid van de resultaten (gaat het bijvoorbeeld over eerstelijns- of tweedelijnspatiënten?). Wellicht rekruteerde men in deze studies de meer persisterende vormen van otitis media met effusie (in de tweede lijn). De mildere vormen, die eerder in de eerste lijn worden gezien, hebben mogelijks een niet-bacteriële oorzaak (12). Het belang van de toetsing van de setting en de context is dus evenzeer belangrijk en kwam in een eerdere bespreking van Minerva over de toepasbaarheid van reviews in de eerstelijnspraktijk (2016) aan bod (13). In heel wat systematische reviews blijkt een duidelijke contextuele beschrijving afwezig (14). Nochtans is dat essentieel voor een correcte vertaling naar het werkveld.

 

Evenmin wordt met de tool de correctheid van het bestudeerde eindpunt van de systematische review getoetst. In de otitis media met effusie-studies werd het primaire eindpunt (volledige resolutie) correct geëvalueerd door middel van tympanometrie om een uitspraak te doen over het klinische opklaren van otitis media met effusie. We gaven in de bespreking echter aan dat het effect op spraakontwikkeling en de gehoorkwaliteit van een kind op zijn minst even belangrijke eindpunten zijn. De geïncludeerde studies waren niet opgezet om daarover een uitspraak te doen. Evengoed had men dus een systematische review kunnen ondernemen om uitkomstmaten als spraak- en gehoorontwikkeling te bundelen. Uiteraard zal deze keuze aanleiding geven tot de selectie van andere RCT’s. De juistheid van deze keuze wordt echter niet via de risk of bias tool gemeten (15).

 

Dat een inschatting van bias extra vragen oproept, blijkt ook uit de evaluatie van het gebruik van de tool door Cochrane- en andere reviewers in het afgelopen decennium (16). Het gebruik van de tool is wijdverspreid maar het blijft bijvoorbeeld moeilijk om een heldere beslissing te nemen over de waarde van een bepaalde RCT als de scores over de 7 domeinen van bias divergeren. Welk belang hecht je dan finaal aan deze studie binnen je analyse? Het vlot toepassen van een risk of bias-analyse vraagt duidelijk enige ervaring, hetgeen ook tot uiting komt in het optreden van variabiliteit tussen beoordelaars die de tool gebruiken. Auteurs van systematische reviews maken verder soms de fout om de score ‘onduidelijk’ te gebruiken terwijl ze deze informatie eigenlijk kunnen opvragen bij de auteurs van de originele RCT. Een gebrekkige rapportering in een artikel mag de beoordeling van het risico op bias van een RCT in feite niet beïnvloeden.

 

Additioneel komen vandaag nieuwe vormen van bias in het vizier: zo rijzen er vragen of een bijgewerkte versie de mogelijke financieringsbias moet opnemen. Dit is vandaag niet het geval. Het gaat hier meer bepaald over de aanwezigheid van een belangenvermenging (conflict of interest) of van industrie-gesponsorde middelen.

Finaal verdient de Cochrane risk of bias assessment tool vandaag de voorkeur boven de andere scores die peilen naar de methodologische kwaliteit van de geïncludeerde studies, zoals de Jadad-score (17). Het is in de kantlijn nuttig te weten dat er een Cochrane risk of bias assessment tool bestaat voor niet-gerandomiseerde studies (18).

 

Besluit

De Cochrane risk of bias assessment tool wordt sterk gewaardeerd voor het evalueren van het risico op bias in individuele RCT’s. Echter vraagt deze tool enige basiskennis en correcte interpretatie. Zo moet men inzien dat de gedefinieerde domeinen van bias enkel naar de kwaliteit van de individuele RCT’s peilen (interne validiteit) en niet naar de overkoepelende methodiek van de systematische review zelf. De resultaten van een goed uitgevoerde systematische review kunnen vertaald worden naar de praktijk via aanbevelingen of richtlijnen (externe validiteit).

 

 

Referenties 

1. URL: https://www.ebmpracticenet.be/Pages/default.aspx. Accessed 13 April 2017.
2. Venekamp RP, Burton MJ, van Dongen TM, et al. Antibiotics for otitis media with effusion in children. Cochrane Database Syst Rev 2016, Issue 6. DOI: 10.1002/14651858.CD009163.pub3
3. Barakat R, Pelaez M, Cordero Y, et al. Exercise during pregnancy protects against hypertension and macrosomia: randomized clinical trial. Am J Obstet Gynecol 2016;214:649.e1-8. DOI: 10.1016/j.ajog.2015.11.039
4. Ailliet L. Fysieke oefeningen tijdens de zwangerschap beschermt tegen zwangerschapshypertensie. Minerva 2017;16(4):100-3.
5. Higgins JP, Altman DG, Gøtzsche PC, et al; Cochrane Bias Methods Group; Cochrane Statistical Methods Group. The Cochrane Collaboration's tool for assessing risk of bias in randomised trials. BMJ 2011;343:d5928. DOI: 10.1136/bmj.d5928
6. Chevalier P. Bias door de sequentie van toewijzing. Minerva 2012;11(5):64.
7. Chevalier P. Risico van bias gerelateerd aan de geheimhouding van de toewijzing. Minerva 2012;11(6):77.
8. Chevalier P. Risico’s van bias in niet-geblindeerde studies. Minerva 2013;12(3):38.
9. Chevalier P. Observatiebias: het belang van driedubbele blindering. Minerva 2014;13(3):38.
10. Chevalier P. Bias door selectiviteit bij de keuze en de rapportering van resultaten. Minerva 2014;13(5):64.
11. Chevalier P. Bias bij het weergeven van uitkomsten. Minerva 2010;9(7):84.
12. Dhooge I, Sintobin I. Antibiotica voor otitis media met effusie bij kinderen. Minerva 2017;16(4):88-91.
13. Michiels B. Zijn alle resultaten van systematische reviews toepasbaar in de eerste lijn? [Editoriaal] Minerva 2016;15(2):29-30.
14. Missiou A, Tatsioni A. Systematic reviews do not comment on applicability for primary care. J Clin Epidemiol 2015;68:1152-60. DOI: 10.1016/j.jclinepi.2015.06.003
15. Michiels B. De keuze en betekenis van primaire en secundaire uitkomstmaten in systematische reviews. Minerva 2015;14(10):128.
16. Jørgensen L, Paludan-Müller AS, Laursen DR, et al. Evaluation of the Cochrane tool for assessing risk of bias in randomized clinical trials: overview of published comments and analysis of user practice in Cochrane and non-Cochrane reviews. Syst Rev 2016;5:80. DOI: 10.1186/s13643-016-0259-8
17. Chevalier P. Methodologische kwaliteit en bias in RCT’s. Minerva 2010;9(5):60.
18. Sterne J, Higgens J, Reeves B. On behalf of the development group for ACROBAT-NRSI. A Cochrane risk of bias assessment tool: for non-randomized studies of interventions (ACROBAT-NRSI), Version 1.0.0, 24 September 2014. Available from http://www.riskofbias.info. Accessed 11 April 2017.