Il arrive de plus en plus fréquemment d’être confronté à des résultats divergents de synthèses ou de méta-analyses traitant d’un même sujet. Ce phénomène, guère nouveau, a déjà été abordé dans Minerva (1). Il faudra donc, d’abord, regarder de quelle méta-analyse il s’agit : si elle inclut uniquement des RCTs ou uniquement des études d’observation, ou un mélange des deux ou une inclusion également d’études qualitatives. Les résultats peuvent en être fort différents, comme, par exemple, en ce qui concerne le risque cardiovasculaire des COXIBS (2) entre méta-analyse de RCTs et méta-analyse d’études d‘observation. En cas de sélection d’un même type d’étude, uniquement des RCTs par exemple, d’autres critères d’inclusion peuvent être ajoutés par les chercheurs désireux d’élaborer une méta-analyse : contexte de réalisation de l’étude, critères de jugement utilisés, durée d’étude, nombre minimal de patients inclus, ce qui peut modifier le résultat final. Le point principal nous semble cependant être l’inclusion ou non d’études dans la méta-analyse selon la qualité méthodologique de l’étude.

Qualité des études

Pour évaluer la qualité méthodologique d’une RCT, c’est souvent le score de Jadad (3) qui est utilisé, mais il y a de nombreux autres scores. En 1999, Jüni et coll (4) en relevaient 26. Ils en ont utilisé 25 pour faire une méta-analyse de 17 études comparant une héparine à bas poids moléculaire à une héparine normale dans la prévention thromboembolique post-opératoire. Suivant l’échelle utilisée (comportant de 3 à 34 items), les études donnant le meilleur score de qualité soit ne montrent pas de bénéfice de l’HBPM soit montrent un bénéfice versus héparine normale. Les auteurs concluent que certains tests destinés à identifier les études de haute qualité méthodologique posent problème. Ils plaident pour des tests utilisant les éléments repris par Jadad (secret de l’attribution, double aveugle, sorties d’études et arrêts de traitement). Ils concluent aussi que des méta-analyses de petites études de qualité discutable, ne peuvent, malgré toutes les analyses statistiques, remplacer des études de protocole correct avec des échantillons de population adéquats. L’utilisation du seul score de Jadad montre ses limites. Comme nous l’avons vu dans Minerva, une méta-analyse évaluant l’efficacité des probiotiques (5), incluant des études avec score de Jadad correct (>3) conclut à l’effet protecteur des probiotiques contre la diarrhée. Une autre méta-analyse, réalisant une sommation des résultats des études avec analyse en intention de traiter ne montre pas de bénéfice pour ce traitement (6).

Qualité médiocre : quelle importance ?

D’autres tables d’évaluation de la qualité méthodologique, avec ou sans score chiffré, permettent d’évaluer plus précisément la qualité méthodologique des études (Dutch Cochrane, SIGN par exemple).

Egger et coll (7) se sont demandés quelles étaient les caractéristiques des études difficiles à trouver (non publiées, publiées dans une autre langue que l’anglais, publiées dans des journaux non indexés dans MEDLINE) ou de faible qualité (secret d‘attribution de traitement inadéquat/pas clair, non en double aveugle). Ils voulaient également voir si la non inclusion de telles études modifiait l’estimation de l’effet sommé, les valeurs p et l’aspect du funnel plot. Ils concluent que l’inclusion ou l’exclusion d’études de faible qualité méthodologique a un effet substantiel. Ils insistent également sur le fait qu’il vaut mieux investir dans une évaluation approfondie de la qualité des études accessibles sans difficulté plutôt que dans la recherche d’études quasi introuvables.

L’évaluation (correcte) de la qualité méthodologique des études entraîne-t-elle une modification réelle du processus de conclusion finale ? Plusieurs auteurs évaluent avec soin la qualité méthodologique des études, mais omettent cependant de tenir compte de leurs observations lors de l’inclusion des résultats ou non de ces études dans la méta-analyse. Les résultats d’étude de qualité méthodologique pauvre ne devraient pas être inclus, au risque de rendre la fiabilité générale aléatoire (7,8). Moja et coll (9) ont étudié les processus d’analyse de 965 synthèses méthodiques (809 de la Cochrane Collaboration et 156 autres, publiées dans des revues). Si la qualité est analysée dans 88,5% de ces synthèses, le plus fréquemment à l’aide du score de Jadad (mais pour une proportion de 12% seulement), la prise en compte de cette évaluation de la qualité n’est réelle que dans 51,4% des interprétations des résultats, sans différence entre les synthèses de la Cochrane et les autres.

Il faut y ajouter, dans les conclusions de la méta-analyse rédigées par les auteurs, leur interprétation finale. Jorgensen et coll. (10) constatent que, à propos d’un même médicament, les synthèses sponsorisées par l’industrie pharmaceutique sont moins strictes sur l’analyse des limites méthodologiques des études incluses et offrent des conclusions plus favorables que celles réalisées par la Cochrane Collaboration. Un appel donc à une grande vigilance dans la lecture des méta-analyses.

Références

1. Van Driel M. De meta-analyse mammografisch doorgelicht. Huisarts Nu (Minerva) 1998;27(2):268-9.
2. Chevalier P, van Driel M. COXIBS, autres AINS et risque athérothrombotique. MinervaF 2007;6(1):8-10.
3. Jadad AR, Cook DJ, Jones A, et al. Methodology and reports of systematic
   reviews and meta-analyses: a comparison of Cochrane reviews with articles published in paper-based journals. JAMA 1998;280:278-80.
4. Jüni P, Witschi A, Bloch R, Egger M. The hazards of scoring the quality of clinical trials for meta-analysis. JAMA 1999;282:1054-60.
5. Sazawal S, Hiremath G, Dhingra U, et al. Efficacy of probiotics in prevention of acute diarrhoea: a meta-analysis of masked, randomised, placebo-controlled trials. Lancet Infect Dis 2006;6:374-82.
6. Johnston B, Supina A, Vohra S. Probiotics for pediatric antibiotic-associated diarrhea: a meta-analysis of randomized placebo-controlled trials. CMAJ 2006;175:377-83.
7. Egger M, Juni P, Bartlett C, et al. How important are comprehensive literature searches and the assessment of trial quality in systematic reviews? Empirical study. Health Technol Assess 2003;7:1-76.
8. Cucherat M. Méta-analyse des essais thérapeutiques. Ed Masson 1997, p. 390.
9. Moja LP, Telaro E, D’Amico R, et al. Assessment of methodological quality of primary studies by systematic reviews: results of the metaquality study cross sectional study. BMJ 2005;330:1053-5.
10. Jorgensen AW, Hilden J, Gotzsche PC. Cochrane reviews compared with industry supported meta-analyses and other meta-analyses of the same drugs: systematic review. BMJ 2006;333:782-6.