Je ne veux pas enfoncer une porte ouverte, mais tant professionnels de la santé que patients et décideurs, nous sommes inondés de résultats de recherche scientifique, et la nécessité de synthèses de matériel d’étude primaire se fait de plus en plus sentir (1). La recherche systématique dans la littérature, en suivant un protocole d’étude prédéfini, rassemble des études contrôlées randomisées et/ou des études observationnelles dont les résultats peuvent ensuite être regroupés dans une méta-analyse ou dans une méta-analyse en réseau. De nombreuses contributions de Minerva ont traité de l’utilité et des pièges des synthèses méthodiques avec méta-analyse (2-9), y compris les méta-analyses en réseau (10). En outre, dans presque chaque numéro de Minerva, nous discutons d’au moins une synthèse méthodique avec méta-analyse portant sur un domaine de recherche médicale ou paramédicale. Nous sommes donc convaincus que nos fidèles lecteurs sont en mesure d’estimer correctement la valeur d’une synthèse méthodique avec méta-analyse (en réseau).

Entre-temps, le nombre de synthèses méthodiques avec méta-analyse est devenu quasi astronomique. C’est pourquoi les revues systématiques avec méta-analyse sont désormais souvent regroupées dans des « synthèses méthodiques générales », des « revues de revues », voire des « revues parapluie » (11). Dans ce numéro, nous traitons d’une synthèse méthodique avec méta-analyse portant sur l’utilité des glucides accessibles au microbiote (MAC) dans l’alimentation des patients diabétiques (12,13). Les chercheurs ont décidé de mener également une revue parapluie. Qu’est-ce qu’une revue parapluie exactement, et existe-t-il des critères d’évaluation de sa qualité méthodologique ? Les revues Evidence Based Mental Health et Geneesmiddelenbulletin ont publié quelques contributions utiles à ce sujet (11,14).

La qualité d’une revue parapluie pourrait se résumer en dix points :

1. Faut-il une revue parapluie pour répondre à une question cliniquement pertinente ?

C’est important de le savoir pour éviter l’excès de revues parapluies, car, tout compte fait, elles ne sont pas nécessaires pour que les prestataires de soins de santé continuent à prodiguer des soins de qualité. La décision d’effectuer une revue parapluie doit donc être suffisamment motivée. Par exemple, s’agit-il d’un sujet controversé avec des résultats contradictoires, ou le biais potentiel dans les résultats de la recherche n’a-t-il pas encore été étudié de manière systématique ? Une recherche documentaire exploratoire avec une attention particulière aux différentes méta-analyses sur le sujet peut donc être une première étape. Ensuite, il doit être clair à l’avance que dissiper l’incertitude sur un thème donné est nécessaire pour faire progresser les connaissances cliniques. Enfin, il faut vérifier au préalable s’il existe suffisamment de méta-analyses sur le sujet. Ici aussi, une recherche documentaire exploratoire avec extension possible à d’autres bases de données plus importantes peut certainement être utile. Plus on fusionne de méta-analyses, plus la puissance statistique et la précision des résultats sont grandes. Mais, le thème peut alors aussi être élargi, et, de ce fait, les résultats finaux peuvent avoir un impact clinique plus important.

Ainsi, dans le commentaire sur les MAC, une revue parapluie supplémentaire a été réalisée pour étendre l’utilité des MAC à l’utilité de toutes les interventions diététiques existantes chez les patients atteints de diabète de type 2. Selon les chercheurs, cette expansion est plus pertinente que l’accent mis sur une seule intervention diététique. Pour les cliniciens, il est en effet intéressant de mieux comprendre la place des MAC dans le vaste arsenal d’interventions diététiques chez les patients atteints de diabète de type 2.

2. Un protocole d’étude a-t-il été établi au préalable ?

Comme pour toute étude scientifique, il est indispensable d’élaborer le protocole d’étude au préalable et de le mettre en ligne dans une base de données internationale telle que PROSPERO (15) ou de le publier dans une revue en libre accès. Le protocole de la revue parapluie doit indiquer clairement comment seront effectuées la recherche dans la littérature, l’extraction des données et l’analyse statistique. De plus, comme pour toute synthèse méthodique, des critères spécifiques d’inclusion et d’exclusion doivent être définis au préalable. Le rapport de la recherche documentaire doit être conforme aux recommandations PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-analyses). Enfin, il est important que la qualité méthodologique des méta-analyses incluses soit évaluée.

Le protocole de la revue parapluie sur les MAC est décrit dans PROSPERO (16). Ce qui est frappant c’est que le protocole fait également référence à la recherche de méta-analyses d’études observationnelles, mais que la publication finale n’en fait pourtant pas état. Néanmoins, les recommandations PRISMA sont suivies pour le rapport. Les chercheurs ont utilisé l’outil validé AMSTAR-2 pour évaluer la qualité méthodologique des méta-analyses.

3. Des variables cohérentes et fiables ont-elles été prédéfinies ?

Pour étudier l’association entre des variables indépendantes (telles que les facteurs de risque ou les interventions) et des variables dépendantes (généralement les résultats cliniques) dans une revue parapluie, il faut les définir clairement à l’avance. Ce qui prime ici, c’est une approche pragmatique reprenant autant que possible les variables des différentes méta-analyses. Cela n’a aucun sens de regrouper ou de diviser des variables si l’on ne dispose pas d’indication à ce sujet dans la littérature actuelle. Cela peut être particulièrement important lorsqu’il s’agit d’interventions médicales ou paramédicales complexes. Si on travaille trop avec les variables d’origine, on finit par ne plus savoir ce que l’on est en train de regrouper. Y est associée la nécessité de choisir a priori d’utiliser les résultats primaires regroupés ou les résultats regroupés des analyses de sous-groupes. La préférence est généralement donnée aux résultats primaires regroupés car ils ont souvent le plus de puissance. Que fait-on en cas de chevauchement lorsque deux ou plusieurs synthèses méthodiques ou méta-analyses examinent quasiment les mêmes variables ou incluent quasiment les mêmes études ? Dans tous les cas, il faut éviter que les mêmes études primaires soient incluses plusieurs fois dans la revue parapluie (11) et gonflent ainsi indûment la puissance de certains résultats. Les critères de sélection des synthèses méthodiques doivent être déterminés à l’avance.

La revue parapluie sur les MAC n’incluait que des méta-analyses examinant l’effet des interventions diététiques existantes sur les facteurs de risque cardiovasculaire. Si plus d’une méta-analyse avec la même question clinique était trouvée, il était prédéterminé que serait sélectionnée la méta-analyse avec le score AMSTAR 2 le plus élevé et/ou le plus grand nombre d’études incluses et/ou l’hétérogénéité la plus faible.

4. Y a-t-il une mesure d’effet commune ?

Selon la conception de la recherche et la technique d’analyse des études incluses, les synthèses méthodiques avec méta-analyse utilisent souvent des mesures différentes pour estimer l’ampleur de l’effet. Dans une revue parapluie, une mesure d’effet commune est nécessaire pour pouvoir comparer l’ampleur de l’effet d’une manière simple pour tous les critères de jugement. Cela nécessite souvent de convertir la mesure d’effet des critères de jugement des méta-analyses individuelles en une autre mesure d’effet comparable, mais cela n’est pas toujours possible. Par exemple, d’un rapport de cotes (RC) on ne peut pas calculer un risque relatif(RR) si on ne connaît pas l’incidence dans le groupe non exposé. Les valeurs des rapport de hasards (Hazard Ratio, HR), des ratios des taux d’incidence (Incidence Rate Ratio, IRR), des OR et des RR sont toutefois comparables lorsque l’incidence du critère de jugement dans la population d’étude est faible (17). De plus, les valeurs du d de Cohen et du g de Hedges sont comparables lorsque la variance entre les patients et les témoins n’est pas trop grande et lorsque la taille de l’échantillon n’est pas trop petite. Il existe diverses formules mathématiques pour convertir en une autre mesure d’effet.

Dans la revue parapluie sur les MAC, l’ampleur de l’effet dans les méta-analyses en réseau a été recalculée sur celle des études originales.

5. L’hétérogénéité et les éventuelles sources de biais ont-elles été signalées ?

Comme toute synthèse méthodique, la revue parapluie doit également évaluer et rendre compte de l’hétérogénéité et des éventuelles sources de biais pour toutes les études incluses dans chaque méta-analyse. Les preuves d’un effet seront plus faibles en cas d’hétérogénéité importante entre les études et s’il existe un biais important de publication et de notification (3,4). 

La revue parapluie sur les MAC a pris en compte l’hétérogénéité statistique. Lorsqu’un modèle à effets fixes avait été utilisé dans une méta-analyse, tous les résultats ont été recalculés avec le modèle à effets aléatoires sur la base des études primaires. Lorsqu’une méta-analyse comprenait plus de dix études sans rapporter de biais de publication, ce dernier était recalculé à l’aide du test d’Egger.

6. La force des preuves est-elle affichée de manière objective ?

Pour cela, il est important d’utiliser un instrument validé, tel que GRADE.

Dans la revue parapluie sur les MAC, un instrument spécifique a été utilisé pour évaluer la qualité des preuves. L’outil NutriGrade modifié a pris en compte la qualité méthodologique des méta-analyses incluses, ainsi que l’hétérogénéité et le biais de publication.

7. Des analyses de sensibilité ont-elles été effectuées ?

Cela peut être important pour étudier de plus près les associations trouvées.

Ce n’est pas le cas dans la revue parapluie sur les MAC.

8. Les résultats sont-ils communiqués de manière transparente ?

Divers tableaux et diagrammes peuvent être utilisés pour afficher les résultats. Ici, on jouit d’une certaine liberté, du moment que le lecteur obtient un aperçu rapide de l’ampleur de l’effet et du niveau de preuve pour les différents critères de jugement.

Le tableau récapitulatif dans la publication sur les MAC donne un aperçu clair des critères de jugement, ainsi que de la qualité des preuves de l’effet des différents régimes alimentaires. L’ampleur de l’effet n’est toutefois pas mentionnée.

9. Le logiciel de méta-analyse approprié a-t-il été utilisé ?

Le logiciel de méta-analyse doit être suffisamment puissant pour prendre en charge les modèles à effets aléatoires, étudier l’hétérogénéité entre les études, calculer les intervalles de confiance et détecter les éventuels biais de notification.

Nous ne trouvons rien à ce sujet, ni dans la publication ni dans le protocole de la revue parapluie sur les MAC.

10. Les limites des revues parapluie ont-elles été prises en compte ?

Comme pour toutes les formes d’étude de synthèse, la revue parapluie ne peut utiliser que ce que des chercheurs ont précédemment étudié et publié dans des sources primaires. Pour la revue parapluie, les études primaires (études randomisées contrôlées (RCT), études observationnelles) doivent bien sûr, à un moment donné, avoir été identifiées par une synthèse méthodique avec méta-analyse. En cas de doute sur l’exhaustivité, une recherche documentaire supplémentaire pourrait être effectuée pour chaque sous-domaine. Cependant, force est de constater que cela peut s’accompagner de problèmes méthodologiques, comme l’émergence de nouveaux sous-groupes qui compliquent l’interprétation des résultats finaux, l’apparition de nouvelles formes de biais, etc. Cet effort demanderait aussi tellement d’énergie que l’utilité d’une revue parapluie serait remise en question. Nous devons également être conscients qu’en plus du risque de passer à côté d’études importantes, la revue parapluie peut également adopter bon nombre des limites des études incluses.

 

Conclusion

La revue parapluie est-elle au sommet de la pyramide ? Oui et non. Peut-être, si elle est correctement réalisée. En plus des critères décrits ci-dessus, nous pouvons également nous référer ici à un chapitre distinct sur la « vue d’ensemble des revues » (overview of reviews) dans le manuel de la Collaboration Cochrane (18). Dans un monde « scientifique » qui connaît une évolution sans cesse croissante, les revues parapluies présentent peut-être un avantage car elles peuvent être réalisées plus rapidement que les synthèses méthodiques (11). En revanche, et ce n’est pas vraiment différent de ce que nous avons déjà conclu à propos des synthèses méthodiques avec méta-analyse « normales », une revue parapluie n’est pas plus solide que son maillon le plus faible, à savoir les RCTs, les études observationnelles et qualitatives qui constituent la base de notre pyramide.

 

 

Références 

1. Vermeire E. Editorial: La synthèse comme formation continue. MinervaF 2003;2(4):56-7.
2. Chevalier P, van Driel M, Vermeire E. Synthèse méthodique et méta-analyse : première approche. MinervaF 2007;6(3):33.
3. Chevalier P, van Driel M, Vermeire E. Hétérogénéité dans les synthèses méthodiques et méta-analyses. MinervaF 2007;6(10):160.
4. Chevalier P, van Driel M, Vermeire E. Biais de publication : identification et essai de correction. MinervaF 2008;7(1):16.
5. Chevalier P, van Driel M, Vermeire E. Evaluation de la qualité méthodologique des méta-analyses. MinervaF 2007;6(1):166.
6. Chevalier P. Lecture critique d’une méta-analyse. MinervaF 2008;7(5):80.
7. Michiels B. Les résultats des synthèses méthodiques sont-ils tous applicables au niveau de la première ligne ? MinervaF 2016;15(2):29-30.
8. Michiels B. Chercheurs de la Cochrane menés en bateau. MinervaF 2010;9(9):101.
9. Michiels B. Repenser les synthèses d'évidence. MinervaF 2012;11(10):118.
10. Chevalier P. Méta-analyse en réseau : comparaisons directes et indirectes. MinervaF 2009;8(10):148.
11. Stolk LM. Umbrella reviews van geneesmiddelen. GEBU 2020;54:117-20.
12. Verbeyst L. Quel est l’effet des glucides accessibles au microbiote (Microbiota Accessible Carbohydrates, MAC) sur les facteurs de risque cardiovasculaire chez les adultes atteints de diabète de type 2 ? MinervaF 2022;21(6):145-9.
13. Xu B, Fu J, Qiao Y, et al. Higher intake of microbiota-accessible carbohydrates and improved cardiometabolic risk factors: a meta-analysis and umbrella review of dietary management in patients with type 2 diabetes. Am J Clin Nutr 2021;113:1515-30. DOI: 10.1093/ajcn/nqaa435
14. Fusar-Poli P, Radua J. Ten simple rules for conducting umbrella reviews. Evid Based Ment Health 2018;21:95-100. DOI: 10.1136/ebmental-2018-300014
15. National Institute for Health Research. PROSPERO International prospective register of systematic reviews. URL : https://www.crd.york.ac.uk/PROSPERO
16. Available at URL: https://www.crd.york.ac.uk/PROSPERO/display_record.php?RecordID=120531
17. Michiels B. Risque relatif versus rapport de cotes (« odds ratio »). MinervaF 2014;13(6):77.
18. Higgins JP, Thomas J, Chandler J, et al. (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022). Cochrane, 2022. Available from www.training.cochrane.org/handbook https://training.cochrane.org/handbook/current/chapter-v