Tekst onder de verantwoordelijkheid van de Franstalige redactie

Bias bij de vermelding van de resultaten ontstaat door bij de publicatie van een studie een deel van de uitkomstmaten en analyses te selecteren in functie van de bekomen resultaten (o.a. in functie van de statistische significantie, de effectgrootte…). Minerva vestigde de aandacht op dit probleem in een eerdere methodologische bijdrage (1). Daarnaast wezen we er in een andere bijdrage op dat in studies met multipele gegevens (en in meta-analyses die dergelijke studies includeren) het risico van selectieve rapportering van de resultaten aanzienlijk kan toenemen (2). Multipliciteit van de gegevens kan zich situeren op verschillende niveaus: meerdere uitkomstmaten, meerdere studie-armen, meerdere evaluatiemomenten, meerdere analyses van verschillende uitkomstmaten, subgroepanalyses, meerdere evaluaties van cumulatieve gegevens. Als oplossing stelden we voor dat auteurs bij het schrijven van het protocol van de meta-analyse op basis van klinische overwegingen de evaluatietijdstippen, de meetinstrumenten en de interventie- en controlegroepen zouden vastleggen die ze zullen gebruiken in de analyse.

Page et al. publiceerden in 2013 een onderzoek waarin ze zochten naar voorbeelden van deze vorm van vertekening in RCT’s en in meta-analyses met de gepoolde resultaten van deze RCT’s, en waarin ze deze voorbeelden ook classificeerden (3). In hun systematische review van goede kwaliteit includeerden ze 290 publicaties. In de RCT’s stelden ze een risico vast van bias door selectieve rapportering (selectieve vermelding) van de resultaten en in de systematische reviews van de RCT’s een risico van selectieve inclusie en/of selectieve rapportering.

Selectieve rapportering in RCT’s

De auteurs brachten de voorbeelden van selectieve vermelding van de resultaten in RCT’s onder in verschillende categoriëen: selectief weglaten van resultaten voor bepaalde uitkomstmaten, selectieve rapportering in het geval van multipele metingen van eenzelfde uitkomstmaat (of ook kiezen tussen globale of subscore), selectieve vermelding in het geval van multipele omzettingen van een uitkomstmaat (bv. omzetting van continue/ordinale gegevens naar een dichotome uitkomstmaat), selectieve vermelding in het geval van multipele analysemodellen, selectieve vermelding van de resultaten van subpopulaties, selectieve (en inconsistente!) rapportering van uitkomstmaten doorheen resultaten en analyses in verschillende publicaties van dezelfde RCT of binnen eenzelfde RCT.

Selectieve inclusie in systematische reviews van RCT’s

De auteurs classificeerden de voorbeelden van selectieve inclusie als volgt: selectieve inclusie van bepaalde uitkomstmaten in functie van de resultaten voor deze uitkomstmaat, selectieve inclusie in het geval van multipele metingen van eenzelfde uitkomstmaat (meerdere tijdstippen, evaluatoren of meetinstrumenten voor dezelfde uitkomstmaat of meerdere metingen van een uitkomstmaat met verschillende definities), selectieve inclusie in het geval van multipele omzettingen van een uitkomstmaat (bv. finale resultaten versus verandering ten opzichte van de aanvangswaarde, resultaten op welbepaalde tijdstippen in de plaats van resultaten over de totale periode), selectieve vermelding in het geval van multipele analysemodellen (multipele analyses voor de tijd tot het optreden van bepaalde uitkomstmaten), selectieve inclusie van resultaten van bepaalde subgroepen (selectie van bepaalde interventies in RCT’s met meerdere studie-armen), selectieve inclusie in het geval van meerdere statistische analyses en imputaties (naargelang de imputaties leiden tot al dan niet gunstige resultaten), selectieve inclusie van gunstige resultaten in het geval van meerdere publicaties met inconsistente resultaten van dezelfde studie.

Selectieve rapportering in systematische reviews van RCT’s

Ook de voorbeelden van selectieve vermelding in systematische reviews van RCT’s werden door de auteurs gerangschikt volgens verschillende niveaus: op basis van de resultaten selectief weglaten van bepaalde uitkomstmaten of van in een meta-analyse geïncludeerde RCT’s waarvan de resultaten wel beschikbaar zijn, in het geval van multipele metingen selectieve vermelding van uitkomstmaten (selectie uit verschillende meetinstrumenten voor eenzelfde uitkomst, keuze voor samengestelde uitkomstmaat versus een element van de uitkomst), selectieve vermelding in het geval van multipele omzettingen van een uitkomstmaat (bv. gegevens op een continue/ordinale schaal versus dezelfde gegevens omgezet naar een dichotome uitkomst), selectieve vermelding in het geval van multipele effectmetingen (keuze voor risk ratio of odds ratio of risicoverschil naargelang de resultaten), selectieve vermelding in het geval van multipele analysemodellen (keuze voor fixed effects model of voor random effets model, keuze tussen verschillende methoden om de heterogeniteit te evalueren), selectieve vermelding van de resultaten van subgroepen (keuze voor groepen met een bepaalde interventie in RCT’s met verschillende studie-armen), op basis van de resultaten selectieve partiële vermelding van de resultaten in de hoofdtekst of in het abstract, selectieve en inconsistente rapportering van uitkomstmaten en analyses doorheen verschillende publicaties of binnen de verschillende secties van een systematische review.

De auteurs illustreren elk voorbeeld aan de hand van één of meerdere publicaties.

Waakzaamheid geboden

De lijst met voorbeelden van selectieve inclusie en rapportering (volledig of selectief weglaten of niet opnemen van resultaten) is even lang als indrukwekkend, vooral in het geval van systematische reviews. Als onderzoekers en auteurs van systematische reviews zich meer bewust zouden worden van deze voorbeelden, is het volgens Page et al. mogelijk om het risico van deze vorm van vertekening te beperken.

Het is realistischer om aan diegene die een publicatie analyseren een grotere alertheid te vragen voor deze vorm van vertekening op het ogenblik dat ze de literatuur kritisch bekijken, door bv. onder meer na te gaan of de vooraf in het protocol vastgelegde (statistische) analyses overeenkomen met de effectief vermelde resultaten van deze analyses.

Referenties

1. Chevalier P. Bias bij het weergeven van uitkomsten. Minerva 2010;9(8):100.
2. Chevalier P. Multipliciteit van de gegevens en betrouwbaarheid van de resultaten van meta-analyses. Minerva 2012;11(3):38.
3. Page MJ, McKenzie JE, Forbes A. Many scenarios exist for selective inclusion and reporting of results in randomized trials and systematic reviews. J Clin Epidemiol 2013;66:524-37.