Biais de publication : identification et essai de correction

Les études qui montrent des résultats favorables pour un traitement ont beaucoup plus de chance d’être publiées, et souvent sous plusieurs formes, que des études ne montrant pas de différence versus autre traitement, ou même des résultats non favorables. Ce phénomène est appelé biais de publication. Il peut fausser l’appréciation globale d’un traitement, particulièrement quand il s’agit de faire une synthèse méthodique avec ou sans méta-analyse de celle-ci. Les auteurs de ce type d’études ont donc intérêt à rechercher ce biais de publication éventuel et à le corriger si c’est possible.

L’évaluation de l’existence d’une non publication d’études peut être réalisée de différentes façons. La plus courante est la réalisation d’un funnel-plot (graphique en forme d’entonnoir inversé) : ce type de graphique peut montrer, en fonction de la précision des études (1) ou de la taille de l’échantillon en ordonnée d’une part, et de la taille de l’effet traitement (effect size) en abscisse d’autre part, que certaines publications sont manquantes : la répartition des points n’est pas homogène autour de la vraie valeur, ne remplissant pas une image en entonnoir inversé. Une représentation radial plot est plus rarement proposée.

Une recherche relativement ancienne (1) a comparé des funnel plots réalisés pour des méta-analyses de la Cochrane Library (réalisés pour 13% des 38 méta-analyses évaluées) ou parues dans des revues (38% sur 37) à des résultats de RCTs incluant un nombre important de sujets (avec donc une précision plus grande), RCTs portant sur une même question clinique de recherche que la méta-analyse. L’existence d’un funnel plot asymétrique permettait de prédire une discordance entre les résultats de la méta-analyse et ceux de l’importante RCT. Autrement dit, la mise en évidence d’un biais de publication doit inviter à interpréter les résultats d’une méta-analyse avec beaucoup de prudence. Ces tests de recherche de biais de publication ne sont cependant guère puissants, surtout eu égard au nombre relativement faible d’études incluses dans la plupart des méta-analyses. Un nombre limité d’études ne permet en effet pas, à ce test, de détecter un biais de publication (2). Il ne convient également pas, en prenant la précision comme critère, pour les études donnant leurs résultats en Odds Ratio (3). Il est donc souvent difficile d’affirmer formellement un biais de publication et encore plus difficile de le récuser (4).

Les auteurs d’une méta-analyse peuvent-ils trouver un moyen de remédier à un éventuel biais de publication ? La première solution est de rechercher les résultats d’études non publiées par divers moyens : enquête auprès d’experts, analyse de posters ou abstracts de congrès. La quête de résultats non publiés pourrait donc se révéler bénéfique pour une appréciation plus correcte de l’ensemble de la littérature, même si certains auteurs émettent des réserves (5). C’est une solution de plus en plus fréquemment utilisée. Encore faut-il avoir accès à des données dont la validité puisse être certifiée : une synthèse méthodique et une méta-analyse qui se baseraient sur une portion importante de données issues uniquement d’abstracts présentés lors de congrès seraient de validité médiocre. En effet, des divergences, parfois fort importantes, entre des abstracts présentés lors de congrès et la publication finale ont été montrées (6). Il faut donc disposer du rapport clinique complet d’une étude non publiée pour pouvoir en évaluer la validité. Cette évaluation permettra, souvent, de constater qu’une étude non publiée est, en fait, de mauvaise qualité (7).

Un autre procédé de « correction » possible si un biais de publication significatif est observé, est la méthode « trim and fill » : les résultats des études « manquantes » dans l’image en miroir sont calculés comme étant strictement opposés à ceux des publications identifiées et une nouvelle sommation des résultats ainsi obtenus peut être faite. Werneke et coll. (8) montrent dans leurs méta-analyses (2001 : 15 études ; 2004 : 18 études) évaluant l’effet antidépresseur du millepertuis, plusieurs analyses intéressantes. Une méta-analyse cumulative est proposée : il s’agit d’additionner au fur et à mesure les résultats des études en fonction de leur date de parution. En procédant de la sorte, la réduction progressive du RR est nette (de 4,03 après 2 études à 1,73 après 18 études). Ils procèdent également à une correction des chiffres par la méthode « trim and fill » pour les 8 études manquantes selon le funnel plot : si le RR est de 1,73 (IC à 95% de 1,40 à 2,14) pour le millepertuis versus placebo dans la méta-analyse de 18 publications, en ajoutant les études manquantes, ce RR passe à 1,30 (IC à 95% de 1,03 à 1,64), avec un intervalle de confiance se rapprochant donc de l’absence de signification statistique. Les auteurs concluent que le millepertuis pourrait être moins efficace que jugé précédemment dans le traitement de la dépression.

Malgré de louables efforts pour tenter de corriger un biais de publication, il faut admettre qu’aucune méthode n’apporte actuellement de solution satisfaisante à ce problème. En cas de biais de publication identifié, l’interprétation de la méta-analyse n’en sera donc que plus prudente.

Références

1. Egger M, Smith GD, Altman DG. Systematic reviews in health care. Meta-analysis in context. BMJ Books 2001.
2. Egger M, Smith GD, Schneider M, Minder C. Bias in meta-analysis detected by a simple, graphical test. BMJ 1997;315:629-34.
3. Peters JL, Sutton AJ, Jones DR, et al. Comparison of two methods to detect publication bias in meta-analysis. JAMA 2006;295:676-80.
4. Cucherat M. Méta-analyse des essais thérapeutiques. Paris: Masson,1997:390.
5. Cook DJ, Guyatt GH, Ryan G, et al. Should unpublished data be included in meta-analyses? JAMA 1993;269:2749-53.
6. Toma M, McAlister FA, Bialy L, et al. Transition from meeting abstract to full-length journal article for randomized controlled trials. JAMA 2006;295:1281-7.
7. Egger M, Jüni P, Bartlett C, et al. How important are comprehensive literature searches and the assessment of quality in systematic reviews? Empirical study. Health Technol Assess 2003;7:1-76.
8. Werneke U, Horn O, Taylor DM. How effective is St John’s wort? The evidence revisited. J Clin Psychiatry 2004;65:611-7.