Formation médicale continue ~ Concepts et outils en EBM

Biais de notification (reporting biases) (1)

Pour rappel, un biais est une erreur systématique ou déviation de la vérité dans des analyses, des résultats ou des conclusions d’une recherche. Ce biais peut aussi bien surestimer ou sous-estimer le résultat réel ou ne pas l’influencer. Il est donc plus correct de parler de risque de biais.

Un biais de notification désigne une erreur systématique liée à la dissémination des résultats d’une recherche en fonction de deux critères : la nature et la direction des résultats. Plusieurs types de biais de notification sont possibles, toujours en fonction des deux critères précités. Le plus connu est le biais de publication : une étude aboutissant à des résultats en faveur d’un nouveau traitement testé fera beaucoup plus souvent l’objet d’une publication qu’une étude non favorable à cette nouveauté. D’autres biais sont possibles : un délai de publication plus rapide pour des résultats favorables, une multiplication des publications dans ce cas, dans des revues à impact factor élevé, études souvent citées en références, publiées en anglais. Le biais de mention des résultats est aussi un des biais de notification.

Le biais de mention des résultats

Un biais de mention des résultats consiste à sélectionner, pour la publication, une partie seulement des données, pour certaines variables, sur la base des résultats observés. Il peut concerner les critères primaires de l’étude : une comparaison entre publications et protocoles initiaux des recherches montre 40 à 62% de publications modifiant, introduisant ou oubliant au moins un critère primaire (2). Ce choix sélectif de critères mentionnés dans la publication est particulièrement trompeur dans l’évaluation des effets indésirables et de la sécurité des médicaments (3). Une recherche rigoureuse de ce biais ne semble pas être facile, et demande de consulter de préférence les auteurs de la recherche pour confirmation (4). Kirkham et coll proposent une grille d’analyse systématique pour rechercher un tel biais dans les RCTs, ORBIT pour the Outcome Reporting Bias in Trials (5). Cette grille précise si un critère est mesuré et analysé avec mention précise des résultats complets ou si un de ces éléments manquent. Les auteurs ont utilisé cette grille sur les résultats de 283 synthèses méthodiques de la Cochrane Library. Dans plus de la moitié des synthèses, l’ensemble des données pour le critère primaire choisi pour la synthèse n’est pas repris dans toutes les études incluses. Un tiers des synthèses contiennent au moins une étude très suspecte de présenter un biais de mention des résultats pour le critère primaire choisi pour la synthèse. Une étude de sensibilité montre, pour 81 synthèses avec méta-analyse se limitant à un critère primaire, que la prise en compte de ce biais réduit l’estimation d’efficacité de 20% au moins dans 23% des cas. Pour les seules 42 méta-analyses avec un résultat statistiquement significatif pour les auteurs, un ajustement pour ce critère rend le résultat statistiquement non significatif  dans un cinquième des cas ou montre que l’efficacité est surestimée d’au moins 20% dans un quart des cas.

Les auteurs de cette remarquable et fastidieuse recherche concluent qu’un risque de biais de mention des résultats est insuffisamment recherché malgré son impact possible sur les résultats d’une méta-analyse.

Conclusion

Les synthèses méthodiques de bonne qualité recherchent et précisent l’existence d’un biais de publication. La majorité d’entre elles ne se préoccupent pas ou peu, à ce jour, d’un risque de bais de mention des résultats. Au vu de l’influence possible de ce biais sur les résultats d’une synthèse et de sa méta-analyse, il est cependant très important de le rechercher. Il faut donc être attentif, lors de notre lecture critique des méta-analyses, à une mention des auteurs concernant la recherche de ce biais qui nécessite un contact avec les auteurs de la RCT originale.

Références

1. Sterne JAC, Egger M, Moher D (editors). Chapter 10: Addressing reporting biases. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Intervention. Version 5.0.1 (updated September 2008). The Cochrane Collaboration, 2008. Available from www.cochrane-handbook.org. (consulté le 15 mars 2010).
2. Dwan K, Altman DG, Arnaiz JA, et al. Systematic review of the empirical evidence of study publication bias and outcome reporting bias. PloS ONE 2008;3:e3081.
3. Melander H, Ahlqvist-Rastad J, Meijer G, Beermann B. Evidence b(i)ased medicine – selective reporting from studies sponsored by pharmaceutical industry: review of studies in new drug applications. BMJ 2003;326:1171-3.
4. Higgins JPT, Altman DG (editors). Chapter 8: Assessing risk of bias in included studies. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.0.1 (updated September 2008). The Cochrane Collaboration, 2008. Available from www.cochrane-handbook.org.  (consulté le 15 mars 2010).
5. Kirkham JJ, Dwan KM, Altman DG, et al. The impact of outcome reporting bias in randomised controlled trials on a cohort of systematic reviews. BMJ 2010;340:c365.