Formation médicale continue ~ Concepts et outils en EBM

Facteurs modifiant l’ampleur des résultats

Nous avons déjà abordé dans la revue Minerva plusieurs éléments pouvant modifier les résultats d’une méta-analyse. Nous avons ainsi pu constater qu’un nombre faible d’études et de patients dans une méta-analyse (1) ou que le non respect du double aveugle (2) pouvait influencer la taille des résultats dans une méta-analyse, en les amplifiant versus méta-analyses avec un plus grand nombre d’études (et de sujets) ou avec des études en double aveugle. La multiplicité des données dans les études originales reprises dans la méta-analyse peuvent-elles en modifier les résultats ?

Multiplicité des données et variabilité du résultat

La multiplicité des données dans une étude originale (et dans les méta-analyses qui incluent de telles études) recouvre différents domaines : des critères de jugement multiples, de nombreux bras d’étude, des échéances répétées de mesure des résultats, des analyses en sous-groupes, des analyses multiples des données rassemblées (3). Tendal et coll. (4) ont évalué si l’inclusion de données multiples pouvait représenter une source de biais dans une méta-analyse. Ils ont recherché dans des méta-analyses de la Cochrane Collaboration (éditions 2006-2007) celles qui présentaient un résultat sous la forme d’une différence moyenne standardisée (DMS), basée sur 2 à 10 RCTs décrivant bien ce critère dans leur protocole. Pour rappel, une DMS est calculée quand pour un critère fondamentalement similaire, les mesures sont effectuées sur des échelles différentes ; une standardisation des données est faite en faisant une différence des valeurs moyennes dans chacun des groupes de l’étude, différence divisée par la déviation standard des résultats sommés. La DMS n’a pas de dimension mais est exprimée en unités de déviation standard, donc comparable aux autres résultats exprimés de la même façon.

Les auteurs ont ensuite analysé les résultats dans les études originales et recalculé pour chaque étude la DMS pour le premier critère mentionné avec une DMS dans chaque étude (= DMS index), pour chaque bras d’étude avec intervention, pour chaque échéance de mesure, pour chaque type de mesure suivant le protocole. Avec toutes ces valeurs extraites des études originales, ils ont fait des simulations probabilistes avec une technique validée. Ils ont inclus 19 méta-analyses dans leurs calculs, reprenant 83 études ; dans 18 de ces méta-analyses, une multiplicité des données était observée dans au moins un des domaines choisis. Pour les 83 études, 29% montraient des données multiples pour les bras avec intervention (par ex. psychothérapie associée à une pharmacothérapie versus psychothérapie seule et versus pharmacothérapie seule versus psychothérapie plus placebo, la psychothérapie étant définie comme « toute autre approche psychologique »), 36% pour les échéances de mesure (par ex. données récoltées jusqu’à 12 semaines, entre 13 et 26 semaines, et à plus de 26 semaines), 35% pour des mesures sur différents scores/échelles. La différence médiane de DMS entre la DMS la plus basse et la plus élevée dans une méta-analyse est de 0,40 (écarts de 0,04 à 0,91) ce qui montre une forte variabilité possible des résultats (0,91 DS), donc une fiabilité peu importante et un risque de biais notable.

Importance clinique

Les auteurs montrent l’importance de cette variabilité des résultats exprimés en DMS pour une méta-analyse évaluant l’efficacité d’une pharmacothérapie sur le niveau d’anxiété (5). Suivant le choix de l’échéance pour la mesure des résultats, l’efficacité de la pharmacothérapie varie fortement, de semaine en semaine, dans les études originales. Un choix aléatoire d’une échéance dans chaque étude montre des DMS variant de -0,76 (soit un bénéfice large) à 0,05 (soit un effet faible).

Solution ?

Le problème est bien l’inclusion de données multiples dans la méta-analyse. L’inclusion de toutes les données soigneusement extraites de toutes les études rend les problèmes d’interprétation considérables. Une autre approche, recommandée par les auteurs, est de spécifier, dans le protocole de la méta-analyse avant de la débuter, les échéances de mesure, les échelles de mesure et les groupes qui seront pris en considération, sur base de considérations cliniques.

Références

1. Chevalier P. Crédibilité et inflation de l’efficacité dans les méta-analyses. MinervaF 2012;11(1):12.
2. Chevalier P. Double-aveugle et protocole ouvert : résultats différents ? MinervaF 2012;11(2):25.
3. Bender R, Bunce C, Clarke M, et al. Attention should be given to multiplicity issues in systematic reviews. J Clin Epidemiol 2008;61:857-65.
4. Tendal B, Nüesch E, Higgins JP, et al. Multiplicity of data in trial reports and the reliability of meta-analyses : empirical study. BMJ 2011;343:d4829.
5. Ipser JC, Carey P, Dhansay Y, et al. Pharmacotherapy augmentation strategies in treatment-resistant anxiety disorders. Cochrane Database Syst Rev 2006, Issue 4.