Les synthèses méthodiques sont actuellement souvent à la base des prises de décisions cliniques. Elles sont également mentionnées comme base pour les recommandations des guides de pratique clinique (par exemple ceux de Duodecim et d’EBMPracticeNet (1)), et elles peuvent avoir un impact important sur la pratique médicale et son évolution. Ce qui comporte un risque, car la validité des synthèses méthodiques dépend fortement de la qualité des études incluses. Les études peuvent en effet être faussées ou biaisées à différents niveaux : conception, exécution, analyse ou rapport.

Prenons l’exemple de l’otite moyenne séro-muqueuse (OMS) chez l’enfant, qui est la cause la plus fréquente de chirurgie dans la petite enfance (pose de drains transtympaniques). Les études randomisées qui montrent un avantage (résolution complète) avec la prise d’antibiotiques per os (au prix d’un plus grand nombre d’effets indésirables) (2) peuvent être biaisées au niveau de l’attribution (biais d’attribution, allocation bias) ou au niveau de l’insu pour les participants et pour les investigateurs (biais de performance, performance bias).

Dans un autre exemple d’étude clinique randomisée (RCT) qui évaluait si l’activité physique pendant la grossesse protégeait contre l’hypertension artérielle gravidique chez la mère et la macrosomie chez le nouveau-né, les activités physiques accompagnées étaient clairement protectrices. Les femmes ont été aléatoirement randomisées dans un groupe « conseils pour des exercices physiques » ou un groupe « exercices accompagnés »). Après la randomisation, les femmes du groupe contrôle ont été questionnées sur leur activité physique réelle car selon le protocole il était encore possible d’exclure les femmes du groupe contrôle qui effectuaient « trop » d’exercices physiques. Aucune femme du groupe contrôle n’a été exclue pour cette raison (3). Heureusement, parce que cette forme de biais de performance (consistant en une différence d’approche entre le groupe contrôle et le groupe actif) aurait peut-être faussé le résultat final. Si des participantes avaient été exclues, cette RCT- par ailleurs valable - aurait pu influencer le résultat d’une méta-analyse dans le sens d’une surestimation de l’ampleur de l’effet (4).

 

Dès 2008, la Cochrane Collaboration a développé un outil permettant de détecter dans chaque étude les éventuelles sources de biais : l’outil de la Cochrane Collaboration évaluant le risque de biais dans les RCTs (Cochrane tool for assessing risk of bias in randomized clinical trials). Cet outil a été mis à jour en 2011. Il comporte 7 domaines de biais qui sont mesurés lors de l’inclusion d’une étude dans une synthèse méthodique (5).

 

1. La génération d’une séquence de randomisation (sequence generation) peut être à l’origine d’une forme de biais de sélection lorsque l’affectation des sujets à un bras de l’étude n’est pas effectuée correctement d’un point de vue méthodologique. Une méthode prévisible (par exemple un numéro d’inclusion pair pour le bras intervention et un numéro impair pour le bras contrôle) peut conduire à une affectation sélective (par exemple des patients plus atteints sont affectés à un certain bras) ou même à ce que des patients ne soient pas inclus (6).
2. Le secret d’attribution (allocation concealment) peut provoquer une forme de biais de sélection lorsque la randomisation des sujets n’est pas dissimulée (le risque est par exemple plus élevé avec des enveloppes scellées qu’avec un système de randomisation central ou une randomisation par blocs) (7).
3. Un biais de performance (performance bias) se rencontre lorsque l’insu des participants et des soignants n’est pas respecté ou lorsque des éléments entraînent une différence entre le groupe intervention et le groupe contrôle. Dans ce cas, on retombe sur les risques liés à une étude menée en ouvert (8).
4. Un biais détection (detection bias) se rencontre lorsque l’insu n’est pas mis en place pour les évaluateurs, donc lorsque l’étude n’est pas en triple aveugle et que les personnes qui analysent les résultats risquent d’être influencées (9).
5. Un biais de migration (attrition bias) survient lorsque les données des critères de jugement sont incomplètes (comme en cas de sorties d’étude ou de perdus de vue, et cetera).
6. Le biais de notification (reporting bias) est le rapport sélectif des critères de jugement (10,11).
7. Les formes de biais qui ne sont pas mentionnées dans les domaines 1 à 6 font partie du domaine « autres ».

 

Pour chaque domaine, le risque de biais est évalué comme étant faible, élevé ou indéterminé. Le compte rendu de l’analyse de biais doit donner au lecteur une bonne évaluation de la validité interne des conclusions de la synthèse méthodique. En d’autres termes, le profil de risque de biais de chaque étude doit clairement indiquer dans quelle mesure la validité interne est plus ou moins « menacée ».

Idéalement, une analyse de sensibilité - prédéfinie - est réalisée dans laquelle les études à plus haut risque de biais sont exclues. On vérifie ensuite si la conclusion finale demeure la même. Dans la synthèse méthodique des études portant sur l’OMS chez l’enfant, un risque élevé de biais d’attribution (allocation bias) a ainsi été considéré comme une raison valable de prévoir a priori une analyse de sensibilité (2).

 

Cependant, l’application de l’outil soulève parfois plus de questions qu’il n’apporte de réponses.

Tout d’abord, cet outil ne mesure pas les erreurs de réalisation de la synthèse méthodique elle-même, mais uniquement d’éventuels biais présents dans les études incluses.

Il est important de comprendre que l’outil « Risque de biais » ne traite que de la validité interne. Après examen, il s’est avéré que les études portant sur l’OMS utilisaient une allocation correcte des participants, mais cela ne nous dit rien à propos de la validité externe, c’est-à-dire de la possibilité de généraliser les résultats (par exemple, s’agit-il de patients de première ligne ou de deuxième ligne ?). Il est probable que, dans ces études, le recrutement concernait les formes les plus persistantes d’OMS (en deuxième ligne) et que les formes plus légères, qui sont vues préalablement en première ligne, ne soient peut-être pas autant d’étiologie bactérienne (12). Il est donc tout aussi important d’évaluer le milieu et le contexte, et en 2016 Minerva a déjà traité des possibilités d’application des synthèses méthodiques en pratique de première ligne (13). Dans bon nombre de synthèses méthodiques il manque une description claire du contexte (14). Or elle est essentielle pour juger de l’applicabilité à la pratique de terrain.

 

L’outil ne permet pas non plus de tester l’exactitude du critère de jugement étudié dans la synthèse méthodique. Dans les études portant sur l’OMS, le critère de jugement primaire (résolution complète) a été correctement évalué avec une tympanométrie pour se prononcer sur la disparition clinique de l’OMS. Dans la discussion, nous avons toutefois indiqué que l’effet sur le développement de la parole et sur la qualité de l’audition d’un enfant sont des critères de jugement tout aussi importants. Les études incluses n’avaient pas été conçues pour se prononcer à ce sujet. On aurait tout aussi bien pu entreprendre une synthèse méthodique de ces critères de jugement que sont le développement de la parole et le développement de l’audition et ainsi augmenter la puissance. Ce choix entraînerait évidemment la sélection d’autres RCTs. La justesse de ces choix de critères d’évaluation n’est cependant pas évaluée avec l’outil Risque de biais (15).

 

Une évaluation du biais soulève des questions supplémentaires, telles que l’évaluation de l’utilisation de l’outil par les auteurs de synthèses méthodiques de la Cochrane Collaboration ainsi que par d’autres auteurs au cours de la décennie écoulée (16). L’utilisation de l’outil est généralisée, mais il reste difficile, par exemple, de prendre une décision claire concernant la valeur d’une RCT donnée lorsque les scores des 7 domaines de biais divergent. Quelle importance accorder alors finalement à cette étude au sein de votre analyse ? L’application rapide d’une analyse du risque de biais demande clairement un peu d’expérience, ce qui s’exprime aussi dans la variabilité entre les évaluateurs qui utilisent l’outil. Les auteurs de synthèses méthodiques font en outre parfois l’erreur d’attribuer le score « indéterminé » alors qu’ils pourraient en réalité obtenir l’information directement auprès des auteurs de la RCT originale. Le manque de déclaration d’éléments dans un article ne devrait pas influencer l’évaluation du risque de biais d’une RCT.

 

On repère aujourd’hui de nouvelles formes de biais : des questions se posent par exemple quant à savoir si une version mise à jour de l’outil doit insérer l’éventuel biais de financement dans le score. Actuellement, ce n’est pas le cas. Cela concerne plus précisément la présence d’un conflit d’intérêts (conflict of interest) ou de financements par le secteur pharmaceutique.

L’outil de la Cochrane Collaboration d’évaluation du risque de biais est actuellement préférable par rapport aux autres scores qui mesurent la qualité méthodologique des études incluses, comme le score de Jadad (17). Il existe aussi un outil de la Cochrane Collaboration d’évaluation du risque de biais pour les études non randomisées (18).

 

Conclusion

L’outil de la Cochrane Collaboration d’évaluation du risque de biais est fortement apprécié pour évaluer le risque de biais dans les RCTs individuelles incluses dans une synthèse méthodique. Cependant, cet outil requiert certaines connaissances de base et une interprétation correcte. Les domaines de biais définis mesurent uniquement la qualité des RCTs, leur validité interne, et non la méthodologie de réalisation de la synthèse méthodique elle-même. Les résultats d’une synthèse méthodique correctement conduite peuvent se traduire dans la pratique par des recommandations ou des guides de pratique clinique en fonction de leur validité externe.

 

 

Références 

1. URL : https://www.ebmpracticenet.be/Pages/default.aspx. Accessed 13 April 2017.
2. Antibiotics for otitis media with effusion in children. Cochrane Database Syst Rev 2016, Issue 6. DOI: 10.1002/14651858.CD009163.pub3
3. Barakat R, Pelaez M, Cordero Y, et al. Exercise during pregnancy protects against hypertension and macrosomia: randomized clinical trial. Am J Obstet Gynecol 2016;214:649.e1-8. DOI: 10.1016/j.ajog.2015.11.039
4. Ailliet L. Les exercices physiques durant la grossesse protègent contre l’hypertension artérielle gravidique. MinervaF 2017;16(4):100-3.
5. Higgins JP, Altman DG, Gøtzsche PC, et al; Cochrane Bias Methods Group; Cochrane Statistical Methods Group. The Cochrane Collaboration's tool for assessing risk of bias in randomised trials. BMJ 2011;343:d5928. DOI: 10.1136/bmj.d5928
6. Chevalier P. Le risque de biais lié à la séquence d’attribution. MinervaF 2012;11(5):64.
7. Chevalier P. Le risque de biais lié au secret d’attribution. MinervaF 2012;11(6):77.
8. Chevalier P. Biais de non respect de l’insu. MinervaF 2013;12(3):38.
9. Chevalier P. Le biais d’observation : importance du triple aveugle. MinervaF 2014;13(3):38.
10. Chevalier P. Biais de sélectivité lors du choix et du rapport des résultats. MinervaF 2014;13(5):64.
11. Chevalier P. Le biais de mention des résultats. MinervaF 2010;9(8):100.
12. Dhooge I, Sintobin I. Antibiotiques en cas d’otite moyenne séro-muqueuse chez l’enfant ? MinervaF 2017;16(4):88-91.
13. Michiels B. Les résultats des synthèses méthodiques sont-ils tous applicables au niveau de la première ligne ? [Editorial] MinervaF 2016;15(2):29-30.
14. Missiou A, Tatsioni A. Systematic reviews do not comment on applicability for primary care. J Clin Epidemiol 2015;68:1152-60. DOI: 10.1016/j.jclinepi.2015.06.003
15. Michiels B. Choix et signification des critères de jugement primaires et secondaires dans les synthèses méthodiques. MinervaF 2015;14(10):128.
16. Jørgensen L, Paludan-Müller AS, Laursen DR, et al. Evaluation of the Cochrane tool for assessing risk of bias in randomized clinical trials: overview of published comments and analysis of user practice in Cochrane and non-Cochrane reviews. Syst Rev 2016;5:80. DOI: 10.1186/s13643-016-0259-8
17. Chevalier P. Qualité méthodologique et biais dans les RCTs. Minerva 2010F;9(6):76.
18. Sterne J, Higgens J, Reeves B. On behalf of the development group for ACROBAT-NRSI. A Cochrane risk of bias assessment tool: for non-randomized studies of interventions (ACROBAT-NRSI), Version 1.0.0, 24 September 2014. Available from http://www.riskofbias.info. Accessed 11 April 2017.