Nascholing: EBM begrippen

Factoren die de effectgrootte van de resultaten beïnvloeden

Minerva wees reeds op verschillende elementen die de resultaten van meta-analyses kunnen wijzigen. Zo stelden we vast dat een klein aantal studies en een beperkt aantal patiënten of een niet-dubbelblinde opzet van de geïncludeerde studies de effectgrootte van de resultaten van een meta-analyse kunnen beïnvloeden (1,2). Dat effect zou groter zijn in vergelijking met meta-analyses met een groter aantal studies en patiënten of met alleen dubbelblinde studies. Blijft de vraag of de multipliciteit van gegevens in de originele studies ook een effect kan hebben op de resultaten van deze meta-analyse?

Multipliciteit van de gegevens en variabiliteit van de resultaten

De multipliciteit van de gegevens in oorspronkelijke studies (en in de meta-analyses die deze studies includeren) kan zich op verschillende vlakken situeren: meerdere uitkomstmaten, meerdere studie-armen, meerdere evaluatiemomenten, meerdere analyses van verschillende uitkomstmaten, subgroepanalyses, meerdere evaluaties van cumulatieve gegevens (3). Tendal et al. gingen na of het includeren van multipele gegevens in een meta-analyse kan leiden tot een vorm van bias (4). Ze selecteerden hiervoor reviews van de Cochrane Collaboration (issue 3 van 2006 tot issue 2 van 2007) die een resultaat uitdrukten als gestandaardiseerd gemiddeld verschil (gebaseerd op twee tot tien van de geïncludeerde RCT’s), en waarvan de uitkomstmaat vermeld was in het studieprotocol. We willen nog even herhalen dat men een gestandaardiseerd gemiddeld verschil (SMD of standardised mean difference) gebruikt wanneer fundamenteel gelijklopende uitkomstmaten op een verschillende schaal geëvalueerd zijn. Een standaardisatie van de gegevens maakt men door voor elke studiegroep van de verschillende waarden het verschil te bepalen. Wanneer men dit verschil deelt door de standaarddeviatie van de som bekomt men een SMD. De SMD heeft geen maat, maar is uitgedrukt in aantal standaarddeviaties waardoor uitkomsten vergelijkbaar worden.

Vervolgens analyseerden de auteurs de resultaten van de originele studies. Ze herberekenden de SMD voor de eerste uitkomstmaat (index SMD) en dit gebeurde voor elke studie, voor elke studie-arm, voor alle evaluatiemomenten, voor elk type meetinstrument overeenkomstig het protocol. Met al deze gegevens uit de originele studies maakten de auteurs simulaties op basis van een gevalideerde methode om de impact van multipliciteit op de resultaten van meta-analyses te kunnen nagaan. In hun berekening konden ze 19 meta-analyses includeren (83 studies). In 18 meta-analyses stelden ze multipliciteit vast voor minstens één van de gekozen criteria. In 29% van de 83 studies evalueerde men meerdere interventies per interventie-arm (bv. psychotherapie in combinatie met farmacotherapie versus psychotherapie alleen versus farmacotherapie alleen versus psychotherapie + placebo, waarbij psychotherapie gedefinieerd was als ‘iedere mogelijke psychologische aanpak’). In 36% van de studies gebruikte men meerdere evaluatietijdstippen (bv. gegevens tot 12 weken, tussen 13 en 26 weken, en na 26 weken), en in 35% van de studies gebruikte men meerdere schalen om de uitkomstmaat te meten.

In de 18 meta-analyses varieerde de impact van multipele gegevens op het effect van de behandeling binnen een meta-analyse aanzienlijk (0,91 SD-eenheden): het mediane verschil tussen de smalste en de breedste SMD bedroeg 0,40 (variërend van 0,04 tot 0,91 SD-eenheden). Dat betekent dat de betrouwbaarheid van de meta-analyses niet zo groot is en het risico van bias aanzienlijk.

Klinisch belang

De auteurs illustreren het belang van de variabiliteit in resultaten uitgedrukt in SMD aan de hand van een meta-analyse over het effect van farmacotherapie op angst (5). Afhankelijk van het gekozen evaluatietijdstip, varieerde in de originele studies het effect van farmacotherapie in belangrijke mate van week tot week. Als de auteurs op toevalllige wijze een evaluatietijdstip kozen voor iedere studie, varieerde de SMD van -0,76 (grote winst) tot 0,05 (weinig effect).

Mogelijke oplossingen?

Het is  de inclusie van multipele gegevens in een meta-analyses die het grote probleem vormt. De inclusie van alle gegevens, zorgvuldig geëxtraheerd uit alle studies, zorgt voor belangrijke problemen bij de interpretatie. Een andere aanpak die de auteurs voorstellen bestaat erin om reeds bij het schrijven van het protocol van de meta-analyse de evaluatietijdstippen, de meetinstrumenten en de interventie- en controlegroepen die men zal gebruiken in de analyse op basis van een klinisch oordeel vast te leggen.

Referenties

1. Chevalier P. Geloofwaardigheid en inflatie van de effectgrootte in meta-analyses. Minerva 2012;11(1):12.
2. Chevalier P. Open-label versus dubbelblinde studies: is er een verschil in de resultaten? Minerva 2012;11(2):25.
3. Bender R, Bunce C, Clarke M, et al. Attention should be given to multiplicity issues in systematic reviews. J Clin Epidemiol 2008;61:857-65.
4. Tendal B, Nüesch E, Higgins JP, et al. Multiplicity of data in trial reports and the reliability of meta-analyses : empirical study. BMJ 2011;343:d4829.
5. Ipser JC, Carey P, Dhansay Y, et al. Pharmacotherapy augmentation strategies in treatment-resistant anxiety disorders. Cochrane Database Syst Rev 2006, Issue 4.