Évaluation des interventions de santé mondiale

Méthodes avancées

Valéry Ridde et Christian Dagenais (dir.)

DOI : 10.4000/books.irdeditions.33393

Éditeur : IRD Éditions, ESBC

Année d'édition : 2019

Date de mise en ligne : 29 juillet 2020

Collection : Hors collection

ISBN électronique : 9782709927673

http://books.openedition.org

Édition imprimée

ISBN : 9782709927666

Nombre de pages : XVII-465

Référence électronique

RIDDE, Valéry (dir.) ; DAGENAIS, Christian (dir.). Évaluation des interventions de santé mondiale : Méthodes avancées. Nouvelle édition [en ligne]. Marseille : IRD Éditions, 2019 (généré le 18 septembre 2020). Disponible sur Internet : <http://books.openedition.org/irdeditions/33393>. ISBN : 9782709927673. DOI : https://doi.org/10.4000/books.irdeditions.33393.

Ce document a été généré automatiquement le 18 septembre 2020. Il est issu d'une numérisation par reconnaissance optique de caractères.

© IRD Éditions, 2019

Creative Commons - Attribution - Pas d’Utilisation Commerciale - Partage dans les Mêmes Conditions 4.0 International - CC BY-NC-SA 4.0

Une couverture universelle des soins de santé en 2030 pour tous les êtres humains, du Nord au Sud ? Réaliser cet objectif de développement durable aussi ambitieux que nécessaire exigera une exceptionnelle volonté politique, mais aussi de solides données probantes sur les moyens d’y arriver, notamment sur les interventions de santé mondiale les plus efficaces. Savoir les évaluer est donc un enjeu majeur. On ne peut plus se contenter de mesurer leur efficacité : il nous faut comprendre pourquoi elles l’ont été (ou pas), comment et dans quelles conditions.

Cet ouvrage collectif réunissant 27 auteurs et 12 autrices de différents pays et de disciplines variées a pour but de présenter de manière claire et accessible, en français, un florilège d’approches et de méthodes avancées en évaluation d’interventions : quantitatives, qualitatives, mixtes, permettant d’étudier l’évaluabilité, la pérennité, les processus, la fidélité, l’efficience, l’équité et l’efficacité d’interventions complexes. Chaque méthode est présentée dans un chapitre à travers un cas réel pour faciliter la transmission de ces savoirs précieux.

Sommaire

Introduction

Valéry Ridde et Christian Dagenais

Le plan du livre

Citation

Partie I. La phase pré-évaluative et la pérennité

I. L’étude d’évaluabilité

Une intervention de prévention de l’usage de drogues à l’école au Québec

Biessé Diakaridja Soura, Jean-Sébastien Fallu, Robert Bastien et Frédéric N. Brière

Présentation de l’étude d’évaluabilité

Exemple d’étude d’évaluabilité : l’intervention en réseau

Devis de l’étude d’évaluabilité

Mise en œuvre de l’étude d’évaluabilité

Résultats obtenus

Analyse réflexive

Conclusion

Citation

2. L’évaluation de la pérennité

Une intervention de financement basé sur les résultats au Mali

Mathieu Seppey et Valéry Ridde

Contexte

Méthodologie

Analyse réflexive

Citation

Partie II. Les approches qualitatives et participatives

3. L’évaluation qualitative, informatisée, participative et inter-oganisationnelle (EQUIPO)

Exemple d’un programme en faveur des femmes victimes de violences en Bolivie

Mathieu Bujold et Jean-Alexandre Fortin

Contexte : Justice entre les femmes et les hommes en Bolivie

EQUIPO : une méthode d’apprentissage dans l’action

Répercussions du projet pilote ÉQUIPO

Forces, faiblesses et défis

Analyse réflexive et conclusion : vers les méthodes mixtes

Remerciements

Citation

4. La méthode photovoix

Une intervention auprès de populations marginalisées sur l’accès à l’eau potable, l’hygiène et l’assainissement au Mexique

Lynda Rey, Wilfried Affodégon, Isabelle Viens, Hind Fathallah et Maria José Arauz

5. L’analyse d’une recherche-action

Combinaison d’approches dans le domaine de la santé au Burkina Faso

Aka Bony Roger Sylvestre, Valéry Ridde et Ludovic Queuille

Contexte et programme évalué

Méthode d’analyse

Résultats de l’analyse

Analyse réflexive du processus d’analyse

Conclusion

Citation

Partie III. Les méthodes mixtes

6. Les revues systématiques mixtes

Un exemple à propos du financement basé sur les résultats

Quan Nha Hong, Anne-Marie Turcotte-Tremblay et Pierre Pluye

Application de la méthode

Devis de synthèse

Analyse réflexive

Citation

7. L’intégration en méthodes mixtes

Cadre conceptuel pour l’intégration des phases, résultats et données qualitatifs et quantitatifs

Pierre Pluye

Contexte : pluralisme, devis, données et qualité

Application

Premier type d’intégration : connexion de phases (3 stratégies spécifiques)

Deuxième type d’intégration : comparaison de résultats (3 stratégies spécifiques)

Troisième type d’intégration : assimilation des données (3 stratégies spécifiques)

Analyse réflexive : combinaisons de stratégies pour intégrer phases, résultats et données QUAL et QUAN

Citation

8. La pratique de l’intégration en méthodes mixtes

Les multiples combinaisons des satratégies d’intégration

Pierre Pluye, Enrique Garcia Bengoechea, David Li Tang et Vera Granikov

Partie IV. L’évaluation de l’efficacité et de l’efficience

9. Les méthodes quasi-expérimentales

L’effet de l’âge légal minimum sur la consommation d’alcool chez les jeunes aux États-Unis

Tarik Benmarhnia et Daniel Fuller

Présentation du contexte d’évaluation : les interventions pour réduire la consommation d’alcool chez les jeunes

Présentation et application des méthodes proposées

Discussion

Citation

10. Les essais randomisés en grappe

Un exemple en santé maternelle et infantile

Alexandre Dumont

Contexte et programme évalué : l’essai QUARITE pour réduire la mortalité maternelle hospitalière

Protocole d’évaluation

Application de la méthode

Analyse réflexive et conclusion

Citation

11. La mesure de l’équité

Un exemple d’intervention de gratuité des soins obstétricaux

Tarik Benmarhnia et Britt Mckinnon

Présentation du contexte d’évaluation de l’équité : l’exemple de l’exemption du paiement des frais de soins (gratuité des soins) et l’impact sur l’accès aux soins obstétricaux

Méthodes pour mesurer les inégalités de santé

Application aux études d’évaluation des effets

Conclusion

Citation

12. L’analyse coût-efficacité

Une intervention de décentralisation des soins VIH/SIDA à Shiselweni, Swaziland

Guillaume Jouquet

Contexte et programme évalué

Plan/devis/protocole d’évaluation

Application de la méthode

Analyse réflexive et conclusion

Citation

13. L’analyse spatiale

Un cas d’intervention communautaire de lutte contre le moustique Aedes aegypti au Burkina Faso

Emmanuel Bonnet, Samiratou Ouédraogo et Diane Saré

Analyse spatiale des effets d’une intervention communautaire de lutte contre la dengue à Ouagadougou

Application de la méthode LISA

Analyse réflexive et conclusion

Citation

Partie V. L’évaluation des processus et de la fidélité d’implantation

14. L’analyse des processus de mise en œuvre

Une intervention complexe au Burkina Faso : le financement basé sur les résultats

Valéry Ridde et Anne Marie Turcotte-Tremblay

Contexte et programme évalué

Devis d’évaluation

Quelques résultats

Analyse réflexive

Citation

15. L’évaluation de la fidélité d’implantation

Un projet de distribution d’omble chevalier aux femmes enceintes du Nunavik

Lara Gautier, Catherine M. Pirkle, Christopher Furgal et Michel Lucas

Contexte et projet évalué

Devis d’évaluation

Brève description des résultats de l’évaluation

Citation

16. L’évaluation de la fidélité et de l’adaptation

Un exemple de mise en œuvre des interventions en santé mondiale

Dennis Pérez, Marta Castro et Pierre Lefèvre

Mise en contexte

Description de la stratégie innovante de renforcement des capacités à agir pour la prévention de la dengue

Protocole de recherche et cadre d’analyse

Application de la méthode et des procédures pour évaluer la fidélité et l’adaptation

Principaux résultats

Analyse réflexive

17. L’évaluation réaliste

L’exemple de l’adoption d’une politique publique de santé au Bénin

Jean-Paul Dossou et Bruno Marchal

Présentation de la méthode, utilité et défis d’application

Contexte et programme évalué : la politique de gratuité de la césarienne au Bénin

Protocole d’évaluation : le cycle de l’évaluation réaliste

Application de l’approche de l’évaluation réaliste

Quelques résultats

Leçons apprises et discussion sur les enjeux de la mise en œuvre de l’évaluation

Citation

Introduction

Valéry Ridde et Christian Dagenais

Il y a dix ans, nous étions interpellés par le fait que nous faisions souvent face, lors de nos enseignements de l’évaluation de programmes à des francophones, au défi de disposer d’écrits pour soutenir nos échanges pédagogiques. À l’époque, les bibliothèques regorgeaient d’ouvrages de référence en anglais dont nous nous servions très souvent pour leurs vertus pédagogiques (Patton 1997 ; Weiss 1998 ; Chen 2005), mais nous butions toujours sur les défis linguistiques lorsque nous enseignions à des francophones. C’est pourquoi nous nous sommes lancés dans une première aventure éditoriale avec la publication en 2009 d’un ouvrage pédagogique en français pour former des étudiant-e-s et des professionnel-le-s1 à l’évaluation de programmes. Au-delà de la langue, l’originalité de l’ouvrage était son approche pluridisciplinaire et intersectorielle. En effet, après avoir présenté des propositions de synthèse conceptuelle (y compris dans des textes d’autrices et d’auteurs anglophones importants que nous avions traduits), le livre proposait de nombreux exemples d’évaluation d’intervention. Ces exemples se situaient dans plusieurs secteurs (éducation, santé, action sociale, etc.) et montraient de manière didactique comment plusieurs méthodes (quantitatives, qualitatives, mixtes) et disciplines pouvaient être mobilisées pour répondre à des questions d’évaluation utiles aux intervenant-e-s et décideurs et décideuses. Ce premier ouvrage a été apprécié par les lecteurs, les lectrices et les enseignant-e-s et nous avons ainsi senti le besoin, en 2012, d’en publier une édition revue et augmentée (Ridde et Dagenais 2012). En outre, il a été traduit en espagnol et diffusé en Amérique latine par la maison d’édition d’une université colombienne qui souhaitait mieux diffuser ces approches sur ce continent, confirmant le besoin de disposer d’ouvrages pédagogiques dans des langues autres que l’anglais.

Mais au fil des années et de notre expérience de recherche et d’enseignement dans les pays du Sud, nous avons senti un triple besoin qui est à l’origine du présent ouvrage collectif.

D’une part, nous avons constaté la nécessité de continuer à publier en français face à la permanence des difficultés des étudiant-e-s et des collègues œuvrant uniquement dans un espace francophone et ne maîtrisant pas facilement l’anglais. Si quelques livres ont été publiés en français depuis 2009 dans le domaine de l’évaluation (Larivière et Corbière 2014 ; Hurteau, Houle, et Guillemette 2012), aucun ne disposait encore d’une spécificité propre au contexte du Sud, ou plus exactement des pays à faible revenu, pour éviter tout amalgame d’une uniformité contextuelle. En 2016, alors que nous avions déjà lancé la production du présent ouvrage, un autre livre spécifique à la pratique de l’évaluation en Afrique a été publié, mais il portait moins sur les méthodes que sur des pratiques réflexives (Ridde et al. 2016). Nous reviendrons sur cette spécificité contextuelle, mais souhaitons ici montrer l’importance de rendre accessibles en français des écrits qui concernent un champ encore majoritairement dominé par le monde anglophone.

D’autre part, si notre premier ouvrage constitue, pensons-nous, une très belle introduction à l’évaluation des interventions pour les novices dans ce domaine, il nous est vite apparu la nécessité d’en approfondir les contours et d’entrer dans la complexité de méthodes avancées. Or, il nous est aussi très vite apparu que de tels ouvrages interdisciplinaires en français et en santé mondiale n’existaient pas. Pourtant, notamment pour celles et ceux qui s’engagent dans des processus d’évaluation rigoureux dépassant les seules consultations répondant à des demandes formulées par un organisme client (ce qui est aussi évidemment un mandat important), il devient essentiel de maîtriser des méthodes complexes permettant de répondre à des questions d’évaluation complexes ciblant des programmes tout aussi complexes.

Cette complexité rend impossible dans bien des cas de mettre en place ce que certain-e-s économistes du développement considèrent comme l’étalon de l’analyse de la causalité, soit les devis contrôlés-randomisés qui, la plupart du temps, sont insuffisants pour répondre aux questions soulevées dans le contexte du Sud. Cette complexité entraine aussi de grands défis évaluatifs dans le cas d’interventions répondant aux caractéristiques de la complexité (Robert et Ridde 2014). Mais force est de constater le besoin de mobiliser des méthodes avancées pour de telles analyses et donc de les présenter. En outre, nous pensons que le contexte des pays à faible revenu est favorable à l’innovation méthodologique et à la mise en branle de telles méthodes.

On ne reviendra pas sur les sempiternels débats autour du concept de santé mondiale (Taylor 2018), car nous souhaitons ici surtout retenir le fait qu’il s’inscrit dans une présence de ressources moindres et de fortes inégalités, mais aussi d’enjeux de pouvoir exacerbés par la forte présence d’une aide publique au développement des pays à revenu élevé et d’une collaboration internationale dans la pratique de l’évaluation. Puisque les contextes sont omniprésents et influencent toutes les « étapes » d’une évaluation (Craig et al. 2018), il est essentiel d’en tenir compte pour choisir les méthodes pertinentes scientifiquement, mais contextuellement aussi. Ainsi, contrairement aux idées reçues, c’est dans un contexte de rareté des ressources que les évaluateurs et évaluatrices se doivent d’être le plus agiles, d’innover et de tenter de déployer des méthodes appropriées pour atteindre leurs objectifs évaluatifs. Les chapitres réunis dans cet ouvrage sont de parfaits exemples de cette agilité et de la manière dont il est possible de déployer des approches complexes pour évaluer des interventions. Personne n’a attendu les récentes tentatives de créer un concept nouveau autour de la recherche interventionnelle en santé publique pour évaluer de manière rigoureuse les interventions en santé mondiale. Les auteurs et les autrices que nous avons mobilisés pour bâtir cet ouvrage font la preuve de ce dynamisme méthodologique, y compris dans un contexte où les moyens mis à la disposition de l’évaluation sont largement moindres que ce qui est disponible au Nord. Mais la diffusion de ces innovations, pour paraphraser Rogers, est encore trop souvent cantonnée à quelques expert-e-s… surtout anglophones et disposant des moyens d’y avoir accès.

Ainsi, et enfin, le troisième besoin que nous avons identifié et auquel ce livre tente de répondre, est celui de la diffusion libre des savoirs, qui est un enjeu majeur en santé mondiale (Smith et al. 2017). À quoi peut-il bien servir de développer toutes ces innovations méthodologiques si elles restent confinées et accaparées par les personnes qui maîtrisent l’anglais et qui ont les moyens d’y accéder ? Comment faire en sorte que les étudiants et étudiantes francophones basés au Sud puissent avoir accès à des connaissances originales et utiles alors qu’ils et elles n’ont pas les moyens de s’offrir des livres, même accessibles en version payante sur Internet ? Comment soutenir le développement du réseau des évaluateurs émergents

francophone2 ? C’est ici que notre rencontre avec le projet des Editions science et bien commun et son souhait d’une démocratisation des savoirs et d’une justice sociale des connaissances nous a agréablement interpellés. Nous avions déjà été en mesure de publier un de nos ouvrages sur les idées reçues en santé mondiale en version gratuite grâce à une initiative des Presses de l’Université de Montréal (Ridde et Ouattara 2015). Nous avions aussi subventionné une reproduction de la première édition de notre livre d’introduction à l’évaluation pour le publier en Afrique de l’Ouest à un tarif réduit, en collaboration avec les Éditions L’Harmattan Burkina Faso. Mais ces subventions sont temporaires et nous voulions vraiment que notre nouvel ouvrage soit le plus largement accessible. La communauté des personnes qui réalisent des évaluations dans le monde francophone se développe à l’échelle mondiale, tous les pays d’Afrique francophone offrent au moins une maîtrise de santé publique où l’évaluation commence à être enseignée... voici autant d’opportunités que cet accès libre à des méthodes avancées rendra utile, croyons-nous.

Ainsi, ce livre s’adresse à tous les amoureux de l’évaluation (oui, oui, cela existe !) qui souhaitent développer leurs connaissances et compétences en méthodes avancées. Il s’adresse d’abord aux personnes qui agissent dans un contexte de santé mondiale, mais pas uniquement. En effet, si les cas présentés concernent le domaine de la santé, au sens large du terme et notamment au sens populationnel, il est évident que les méthodes que nous présentons peuvent être déployées dans d’autres domaines (éducation, économie, etc.) et dans d’autres contextes que ceux des pays du Sud. Chacun-e y trouvera donc son compte et saura user de son agilité pour adapter et transposer ces méthodes ailleurs, dans d’autres champs et d’autres circonstances.

Le plan du livre

L’ouvrage est composé de cinq sections qui représentent autant de grandes dimensions méthodologiques.

La première section est très innovante, car elle présente des méthodes rarement abordées dans les ouvrages et articles francophones en évaluation. Notre approche générale s’inscrit dans une démarche d’évaluation fondée sur la théorie des interventions (Chen 2005 ; Weiss 1998). Dans ce sens, il devient essentiel de maîtriser ce que Beaudry et Gauthier appellent la phase pré-évaluative (Beaudry et Gauthier, 1992), autrement dit l’analyse de « l’évaluabilité » des interventions. Les différentes étapes du processus d’une étude « d’évaluabilité » sont présentées dans le chapitre 1 (Soura et collègues). Le cas présenté porte sur un programme de prévention en milieu scolaire et vise à déterminer jusqu’à quel point ce programme est évaluable.

La pérennité des interventions est aussi un thème relativement délaissé par les ouvrages francophones. Lorsqu’elle est abordée, elle devient souvent la dernière roue du carrosse. Pourtant, les recherches nous disent depuis longtemps que la pérennité devrait devenir la première préoccupation des intervenant-e-s, et non la dernière, lorsque l’on planifie une intervention (Pluye et al. 2005). Nous avons donc décidé de l’intégrer dans la première partie, car le premier auteur de ce chapitre portant sur une intervention au Mali se plaignait d’être relégué, comme la pérennité, à la fin de l’ouvrage. Il a eu raison et nous le remercions de son plaidoyer. La pérennisation des interventions en Afrique est trop peu étudiée. Ce chapitre présente une méthodologie pour y arriver (Seppey et Ridde, chapitre 2).

La deuxième section comporte trois chapitres qui présentent des approches d’évaluation usant de méthodes qualitatives. Si cet usage n’a rien d’innovant dans le domaine de la santé mondiale (Belaid et al. 2016), nous voulions montrer quelques approches originales et peu diffusées en français. Ces trois chapitres proposent donc des processus intéressants où le qualitatif est mobilisé de manière rigoureuse. Le premier (Bujold et Fortin, chapitre 3) porte sur une l’évaluation participative d’un programme visant l’égalité hommes-femmes en Bolivie . Elle met à contribution une méthode systématique en trois volets (qualitatif, participatif, inter-organisationnel). Le deuxième chapitre de cette section (Rey et collègues, chapitre 4) décrit une évaluation menée au Mexique qui mobilise une autre approche qualitative participative utilisant la photo comme support d’expression : le photovoix. Elle porte sur les perceptions de jeunes autochtones de leur participation à un programme basé sur les arts pour favoriser le changement de comportements. Enfin, le troisième chapitre de cette section (Aka et collègues, chapitre 5) porte sur l’évaluation d’une démarche de recherche-action au Burkina Faso. L’approche d’évaluation adoptée combine une analyse externe à une analyse réflexive afin de produire des résultats permettant de guider d’autres recherches-action.

La troisième section offre l’opportunité de réaliser notre souhait de diffuser plus largement le recours aux méthodes mixtes pour l’évaluation (Bujold et al. 2018). Trois chapitres permettent de montrer comment réaliser des revues mixtes, ainsi que l’intégration des données qui est au cœur de la pertinence de ces méthodes. Des exemples utiles en santé mondiale facilitent cette démonstration. Le premier de ces chapitres (Hong et collègues, chapitre 6) porte sur les revues mixtes qui combinent des études quantitatives, qualitatives et mixtes en utilisant une approche systématique. Il présente un exemple de revue mixte tiré d’un projet de financement basé sur les résultats au Burkina Faso ; quatre devis de synthèse sont présentés. Le deuxième chapitre de cette section (Pluye, chapitre 7) propose un cadre conceptuel incluant tous les types d’intégration des méthodes qualitatives et quantitatives et les diverses combinaisons possibles de ces stratégies. Le chapitre suivant (Pluye et collègues, chapitre 8) illustre quant à lui plusieurs de ces types de combinaisons à l’aide d’études en santé mondiale.

La quatrième section est consacrée à l’évaluation de l’efficacité et de l’efficience des interventions. Les trois premiers chapitres de cette section explicitent les démarches méthodologiques pour vérifier à l’aide de méthodes statistiques complexes que les objectifs des interventions ont été atteints. Le premier (Benmarhnia et Fuller, chapitre 9) présente deux méthodes quasi-expérimentales applicables lorsque les essais contrôlés randomisés sont impossibles à organiser : la méthode de Différence dans les Différences (DD) et l’approche de Régression avec Discontinuité (RD). L’application de ces deux méthodes est utilisée pour mesurer les effets de l’âge légal minimum sur la consommation d’alcool des jeunes. Le deuxième chapitre de cette section (Benmarhnia et McKinnon, chapitre 10) présente différentes méthodes de mesure des inégalités de santé d’une intervention d’exemption de paiement des frais de soins. Ces mesures incluent notamment l’indice de concentration et l’indice de Theil. Le troisième chapitre de la section (Dumont, chapitre 11) présente les modèles statistiques appropriés et les défis méthodologiques liés aux essais randomisés en grappe utilisés pour évaluer l’impact d’une intervention visant à réduire la mortalité maternelle et néonatale hospitalière au Mali et au Sénégal. Le quatrième chapitre de cette section (Jouquet, chapitre 12) présente une analyse coût-efficacité d’une intervention VIH réalisée au Swaziland.

Enfin, la cinquième section présente plusieurs démarches portant toutes sur l’analyse des processus et de la fidélité d’implantation dans des contextes variés, du Nunavik à Cuba en passant par l’Afrique de l’Ouest et jusqu’à l’Afrique australe. Sur le plan des méthodes, cette dernière section est innovante en proposant des approches rarement présentées ou utilisées pour le moment : les analyses spatiales (Bonnet, chapitre 13), une étude de cas multiples utilisant un processus pyramidal d’analyse (Ridde et Turcotte-Tremblay, chapitre 14), l’évaluation de la fidélité (Pérez et collègues, chapitre 15 ; Gauthier et collègues, chapitre 16) ou encore l’approche réaliste (Dossou et Marchai, chapitre 17).

Nous ne pouvions terminer cette introduction sans remercier l’ensemble des protagonistes de cet ouvrage. D’abord, les multiples auteurs et autrices et leurs collaborateurs et collaboratrices qui ont patiemment répondu à nos exigences éditoriales didactiques et accepté de participer à une publication dont la durée de production a été proportionnelle à leur motivation. Ensuite, Linda François qui nous a aidés dans la mise en forme des manuscrits des chapitres et qui a assuré le suivi avec les auteurs et les autrices pour répondre aux exigences éditoriales. L’une de leurs requêtes était de disposer de résumé des chapitres dans le maximum de langues possibles. Nous devons ainsi remercier celles et ceux qui ont bien voulu nous aider dans ces traductions. Enfin, il nous faut remercier les Éditions science et bien commun pour leur désir de publier en accès libre cet ouvrage et l’ensemble de leur soutien durant sa production, ainsi que le soutien financier de l’institut de Recherche pour le Développement (IRD) et de l’Équipe RENARD.

Citation

Ridde, Valery et Christian Dagenais (2019). Introduction. In Évaluation des interventions de santé mondiale. Méthodes avancées. Sous la direction de Valéry Ridde et Christian Dagenais, pp. ix-xvii. Québec : Éditions science et bien commun et Marseille : IRD Éditions.

Bibliographie

Références

Beaudry, J. et Gauthier, B. (1992). L’évaluation de programme. Dans B. Gauthier (dir.), Recherche sociale : de la problématique à la collecte de données (2e éd., p. 425-452). Québec : Presses de l’Université du Québec.

Belaid, L., Bodson, O., Ridde, V, Samb, O. et Turcotte-Tremblay (2016).
Innovations qualitatives dans l’évaluation des interventions en santé. Dans J. Kivits, F. Balard, C. Fournier et M. Winance (dir.), Les recherches qualitatives en santé. Malakoff : Armand Colin.

Bujold, M., Hong, Q.N., Ridde, V., Bourque, C.J., Dogba, M.J., Vedel, I. et Pluye, P. (2018). Oser les défis des méthodes mixtes en sciences sociales et sciences de la santé. Montréal : 117e Cahiers scientifiques de l’ACFAS.

Chen, H.-T. (2005). Practical program evaluation : assessing and improving planning, implementation, and effectiveness. Thousand Oaks, CA : Sage Publications.

Craig, P., Di Ruggiero, E., Frohlich, K.L., Mykhalovskiy, E. et White, M., on behalf of the Canadian Institutes of Health Research (CIHR)-National Institute for Health Research (NIHR) Context Guidance Authors Group (listed alphabetically), R. Campbell et al. (2018). Taking account of context in population health intervention research : guidance for producers, users and funders of research.
https://doi.org/10.3310/CIHR-NIHR-01

Hurteau, M., Houle, S. et Guillemette, F. (dir.). (2012). L’évaluation de programme axée sur le jugement crédible. Québec : Presses de l’Université du Québec.

Larivière, N., et Corbière, M. (dir.). (2014). Méthodes qualitatives, quantitatives et mixtes : dans la recherche en sciences humaines, sociales et de la santé. Québec : Presses de l’Université du Québec.

Patton, M.Q. (1997). Utilization-focused evaluation (3e éd.). London : Sage Publications.

Pluye, P., Potvin, L., Denis, J.-L., Pelletier, J. et Mannoni, C. (2005). Program sustainability begins with the first events. Evaluation and program planning, 28,123-137.

Ridde, V. et Dagenais, C. (dir.). (2012). Approches et pratiques en évaluation de programme (2e éd.). Montréal : Presses de l’Université de Montréal.

Ridde, V., Rouanda, S., Kobiané, J.-F. et Zongo, S. (dir.). (2016). Pratiques et méthodes d’évaluation en Afrique. Paris : L’Harmattan.

Ridde, V. et Ouattara, F. (2015). Des idées reçues en santé mondiale. Montréal : Presses de l’Université de Montréal.

Robert, E. et Ridde, V. (2014). L’approche réaliste pour l’évaluation de programmes et la revue systématique : de la théorie à la pratique. Mesure et évaluation en éducation, 36 (3), 79-108.

Smith, E., Haustein, S., Mongeon, P., Shu, F., Ridde, V. et Larivière, V. (2017). Knowledge sharing in global health research – the impact, uptake and cost of open access to scholarly literature. Health Research Policy and Systems, 15 : 73
https://doi.org/10.1186/s12961-017-0235-3

Taylor, S. (2018). “Global Health” : meaning what ? BMJ Global Health, 3 (2), e000843.

Weiss, C.H. (1998). Evaluation : methodsfor studying programs and policies (2e éd.). Upper Saddle River, NJ : Prentice Hall.

Notes

1 Respectant les valeurs des Éditions science et bien commun, cette introduction, comme tous les chapitres du livre, suit les principes de l’écriture inclusive et propose de nouvelles graphies ou des tournures épicènes afin de lutter contre l’invisibilité des femmes ou du féminin. En particulier, il applique l’accord de proximité plutôt que la victoire du masculin et utilise les doublets ou les tirets selon la forme du féminin. Il contribue aussi aux retrouvailles de la langue française avec des formes grammaticales féminines ayant été effacées de l’usage par l’Académie française à la Renaissance.

2 http://www.portail-rfe.org/RF-Ee/qui-somme-nous

Partie I. La phase pré-évaluative et la pérennité

I. L’étude d’évaluabilité

Une intervention de prévention de l’usage de drogues à l’école au Québec

Biessé Diakaridja Soura, Jean-Sébastien Fallu, Robert Bastien et Frédéric N. Brière

L’évaluation de la pérennité

Définition de la méthode

L’étude d’évaluabilité est un processus rigoureux de collecte et d’analyse de données permettant de s’assurer que l’évaluation du programme est réalisable et que celle-ci pourra produire des résultats satisfaisants et utiles aux parties prenantes.

Forces de la méthode
– Processus participatif permettant de faire contribuer les parties prenantes à l’amélioration du programme et de l’évaluation.
– Permet de mieux comprendre la théorie du programme et de développer son modèle logique
– Permet de sauver du temps et des ressources en recommandant les modalités de la conduite d’une évaluation.
– Permet une meilleure planification de l’évaluation proprement dite.

Défis de la méthode
– Peut prendre beaucoup de temps si les différentes parties prenantes ne s’entendent pas ou si les activités ne sont pas bien organisées ou encore s’il y a un grand nombre de personnes à consulter.
– Peut accroître les mésententes et provoquer des frustrations chez certaines parties prenantes.

Pour Craig et Campbell (2015), l’étude d’évaluabilité (ÉÉ) est une approche systématique destinée à planifier l’évaluation des interventions ou programmes. Une des contributions les plus significatives de l’étude d’évaluabilité réside dans le fait qu’elle peut fournir des recommandations en vue de l’amélioration du programme, de la bonne conduite de l’implantation et de l’évaluation ultérieure qui devrait s’ensuivre. Alors qu’elle a été développée depuis les années 1970 pour répondre aux difficultés et défis dans l’évaluation de programmes gouvernementaux aux États-Unis (Wholey 1976), ce n’est que récemment que l’utilisation de l’étude d’évaluabilité a connu une recrudescence tant chez les praticiens e praticiennes de l’évaluation que dans les milieux universitaires (Trevisan et Yi 2003). Selon Trevisan et Walser (2014), ce regain d’intérêt a coïncidé avec la demande croissante de reddition de compte aux gestionnaires des programmes.

L’étude d’évaluabilité est une évaluation de type exploratoire rapide pouvant se réaliser dans une période plus ou moins courte, allant de quelques semaines à plusieurs mois (Davies 2013 ; Wholey 2010). Elle comporte plusieurs étapes permettant de collecter des informations sur les intentions des initiateurs du programme, les objectifs poursuivis, les types de données à collecter et les modalités d’utilisation des résultats de l’évaluation. La réalisation d’une étude d’évaluabilité peut également permettre de développer le modèle logique du programme, un outil nécessaire à la conduite de l’évaluation proprement dite.

Bref, l’étude d’évaluabilité s’avère un exercice utile et pertinent pour l’évaluation de programmes et les décideurs (Soura, Dagenais, Bastien, Fallu et Janosz 2016). Cependant, elle reste peu utilisée, notamment dans le milieu francophone. D’ailleurs, on dénombre plusieurs termes utilisés en français pour évoquer cette approche.

L’objectif de ce chapitre est d’abord de présenter succinctement l’étude d’évaluabilité pour ensuite décrire un exemple de son utilisation dans le cadre de l’évaluation d’une intervention de prévention de l’usage de substances psychoactives en milieu scolaire, avant d’amorcer une analyse réflexive de notre expérience.

Présentation de l’étude d’évaluabilité

L’étude d’évaluabilité est un processus rigoureux de collecte et d’analyse de données permettant de s’assurer que l’évaluation du programme est réalisable et que celle-ci pourra produire des résultats satisfaisants et utiles aux parties prenantes (Kaufman-Levy et Poulin 2003). On entend par partie prenante toutes les personnes ou entités ayant un intérêt particulier à la mise en œuvre d’un programme et à l’évaluation de celui-ci. L’étude d’évaluabilité peut également s’entrevoir comme une évaluation exploratoire ou une activité pré-évaluative qui devrait permettre la mise en place de conditions optimales à une évaluation formative ou sommative formelle (Leviton, Khan, Rog, Dawkins, et Cotton 2010a). Les premières ébauches de l’étude d’évaluabilité remontent aux années 1970, lorsqu’un groupe de chercheuses et chercheurs du Urban Institute de Washington aux États-Unis mit en place cette approche en réponse aux difficultés et défis rencontrés dans l’évaluation des programmes gouvernementaux. Selon ces chercheuses et chercheurs, lesdits programmes étaient insuffisamment mis en œuvre ou trop peu matures pour être évalués ou encore avaient des objectifs jugés irréalistes (Burrows, Bilodeau et Litvak 2012 ; Leviton, Khan, Rog, Dawkins et Cotton 2010 b ; Nay et Kay 1982 ; Wholey 1976). Les critiques portaient également sur le décalage constaté entre le programme évalué et les résultats de cette évaluation (Leviton et al. 2010b). S’est alors engagée une réflexion sur la capacité des évaluations, selon la façon dont elles étaient conduites, à informer les preneurs et preneuses de décision dans l’élaboration des politiques publiques et la nécessité de dépenser des montants élevés pour des interventions qui auraient très peu d’effets sur les populations ciblées (Trevisan et Yi 2003 ; Van Voorhis et Brown 1987). C’est dans ce contexte que Horst et ses collègues entreprirent d’identifier les causes profondes de l’échec des programmes et de l’incapacité de l’évaluation à satisfaire les besoins des parties prenantes (Horst, Nay, Scanlon et Wholey 1974). Ces derniers recommandèrent alors la conduite d’un Pre-assessment of Evaluability qui permettrait d’accroître la capacité d’utilisation des résultats de l’évaluation. C’est cette activité pré-évaluative qui fut plus tard dénommée evaluability assessment ou étude d’évaluabilité ou encore évaluation de l’évaluabilité.

La conduite d’une étude d’évaluabilité consiste à suivre des étapes décrites dans les travaux réalisés en milieu universitaire et par les organismes de développement (Trevisan et Walser 2014). Selon le tableau 1 qui suit, la conduite d’une étude d’évaluabilité peut se réaliser en suivant seulement quatre étapes, selon Dunn (2008), alors qu’on peut en compter jusqu’à dix si l’on considère la perspective de Smith (1989). La différence ne se situe pas seulement au niveau du nombre d’étapes à suivre, mais également dans les premières actions à poser. Ainsi, Wholey (1987) propose-t-il de commencer par impliquer les éventuelles parties prenantes au processus alors que, pour Thurston et Potvin (2003), il faut d’abord sélectionner la personne responsable de réaliser l’étude d’évaluabilité. Peu importe l’ordre des différentes étapes, Smith (1989 ; 1990) propose que les actions à mener soient guidées par le contexte et les objectifs poursuivis.

Tableau 1 : Les étapes de l’étude de l’évaluabilité de programmes selon quelques auteurs (Adapté de Trevisan et Walser (2014) et Saura, Bastien et Fallu (2016). *Etapes ajoutées dans Wholey (2010).)

...