Zie ook editoriaal en bespreking ‘Palliatieve zorg bij het levenseinde: zijn er bewijzen?’

In dit Minervanummer bespreken we een systematische review over de zorg bij het levenseinde (1). Naar aanleiding hiervan willen we de discussie heropenen over de evaluatie van de betrouwbaarheid van de resultaten van een publicatie. We zullen het hier niet hebben over de evaluatie van praktijkrichtlijnen, diagnostische, prognostische of farmaco-economische studies. Het probleem van de evaluatie van de kwaliteit van systematische reviews en meta-analyses kwam reeds eerder aan bod in Minerva (2). Voor de evaluatie van de methodologische kwaliteit van dergelijke onderzoeken zijn verschillende schema’s beschikbaar. Enkele zijn toegankelijk via het internet, bijvoorbeeld deze van SIGN (3) en van het Dutch Cochrane Center (4).

Om de methodologische kwaliteit van een RCT te evalueren, wordt dikwijls de Jadadscore (Jadad et al. 1998) gebruikt. Zoals we reeds eerder in Minerva vermeldden, bestaan er echter talrijke andere scoresystemen. In 1999 vonden Jüni et al. 26 scorelijsten (5). Ze besloten dat enkele testen problemen stellen en pleitten voor testen die de elementen van Jadad gebruiken.

Jadad et al. (6,7) ontwikkelden een scoresysteem dat bedoeld is om de methodologische kwaliteit van alleen RCT’s te evalueren. Deze score bevat drie criteria: de randomisatie, de blindering en het vermelden van drop-out (studie-uitval) en withdrawal (behandelingsstop). Voor de aanwezigheid van elk criterium wordt één punt toegekend. Een bijkomend punt wordt toegevoegd of afgetrokken naargelang de randomisatie en de blindering correct of niet correct verliepen. Op een totaal van vijf punten wijst een score kleiner dan drie op een onvoldoende methodologische kwaliteit van de RCT. In Minerva toonden we, net zoals andere auteurs, echter aan dat het exclusieve gebruik van de Jadadscore beperkingen heeft (8). Op zijn minst moet men hier het criterium van de aanwezigheid van een intention to treat analyse aan toevoegen.

Het Dutch Cochrane Center stelt verschillende schema’s voor om publicaties te evalueren: meta-analyses en RCT’s, maar ook niet-gerandomiseerde studies. Deze zijn beschikbaar op hun website (4).

Om de methodologische kwaliteit en onrechtstreeks de betrouwbaarheid van de resultaten van niet-gerandomiseerde, gecontroleerde studies te evalueren, zijn er nog andere instrumenten beschikbaar.

Downs en Black (9) ontwikkelden een vragenlijst met 27 items en een quotering op 32 punten, om zowel gerandomiseerde als niet-gerandomiseerde studies te evalueren. Deze vragenlijst spitst zich toe op de kwaliteit van de publicatie, de externe en de interne validiteit (bias, vertekenende factoren) en ook de power. Net als talrijke andere experten die deze vragenlijst gebruiken, menen de auteurs dat deze geschikt en toepasbaar is, maar ook vatbaar voor verbetering.

Deeks et al. zochten uitgebreid naar instrumenten om niet-gerandomiseerde studies te evalueren (10). Ze vonden er 194 (waaronder de criteria van Downs). Zij menen dat bij de meeste meetinstrumenten enkele belangrijke items om de kwaliteit van studies te beoordelen ontbreken, namelijk de setting, de selectie van deelnemers, de opvolging, de presentatie en de analyse van de resultaten. Deze onderzoekers besluiten dat, wegens de onmogelijkheid om selectiebias te compenseren en op te sporen, niet-gerandomiseerde studies alleen te overwegen zijn in situaties waar een RCT onpraktisch of onethisch is.

Als we deze naar de EBM-geest correcte redenering volgen, kunnen we aannemen dat in bepaalde situaties van zorg bij het levenseinde waarbij gecontroleerde, gerandomiseerde studies niet mogelijk zijn (goed te evalueren!), een niet-gerandomiseerde studie van goede kwaliteit volgens de actueel vastgelegde criteria, het best beschikbare bewijs levert.

Referenties

1. Sturtewagen JP, Chevalier P. Palliatieve zorg bij het leveneinde: zijn er bewijzen? Minerva 2008;7(9):132-5.
2. Chevalier P, van Driel M, Vermeire E. Meta-analyses: de evaluatie van methodologische kwaliteit. Minerva 2007;6(10):166.
3. Dutch Cochrane Center. http://www.cochrane.nl/nl/index.html
4. Scottish Intercollegiate Guideline Network (SIGN). http://www.sign.ac.uk/methodology/index.html
5. Jüni P, Witschi A, Bloch R, Egger M. The hazards of scoring the quality of clinical trials for meta-analysis. JAMA 1999;282:1054-60.
6. Jadad AR, Moore RA, Carroll D, et al. Assessing the quality of reports of randomized clinical trials: is blinding necessary? Controlled Clin Trials 1996;17:1-12.
7. Jadad AR, Cook DJ, Jones A, et al. Methodology and reports of systematic reviews and meta-analyses: a comparison of Cochrane reviews with articles published in paper-based journals. JAMA 1998;280:278-80.
8. Van Winckel M. Probiotica ter preventie van acute diarree? Minerva 2007;6(4):57-9.
9. Downs SH, Black N. The feasibility of creating a checklist for the assessment of the methodological quality both of randomised and non-randomised studies of health care interventions. J Epidemiol Community Health 1998;52:377-84.
10. Deeks JJ, Dinnes J, D'Amico R, et al; International Stroke Trial Collaborative Group; European Carotid Surgery Trial Collaborative Group. Evaluating non-randomised intervention studies. Health Technol Assess 2003;7:1-173.