Chapitre 1

À quoi bon évaluer ! Explorer les possibles…

Jean-Marie DE KETELE

À quoi bon évaluer si c’est pour donner des explications aussi souvent hâtives et stériles, en termes de « manque de » motivation, d’attention, de confiance, de vocabulaire, de repères, ou bien en termes de « trop de » dissipation, d’agitation, ou encore « élèves pas à leur place, élèves trop nombreux… ». À quoi bon évaluer si, au lieu de prendre des décisions de soutien aux élèves, ce sont des décisions structurelles qui sont prises (trier, séparer, externaliser les problèmes) et dont on sait qu’elles ne sont pas efficaces et surtout accroissent les écarts entre les plus forts et les plus faibles (Galand, 2009 & 2017 ; Lafontaine, 2016). À quoi bon évaluer si c’est pour générer des tensions dans le choix des critères prioritaires (efficacité, efficience, équité), des tensions entre les niveaux de pouvoir (le politique avec ses prescrits et sa politique de pilotage ; les acteurs d’interface dans leur fonction de relais ou d’accompagnement ; les acteurs locaux avec leurs croyances et leurs pratiques) ; des tensions entre évaluation externe, interne et négociée ou entre évaluation et recherche. À quoi bon évaluer si c’est pour faire naître autant de craintes, comme le soulignent des observateurs attentifs du champ de l’évaluation. Hadji (2012) publie un livre au titre évocateur « Faut-il avoir peur de l’évaluation ? » et ose dire « Avec l’évaluation, tout est à craindre » ou encore « Depuis 2007, l’évaluation est en danger de devenir une calamité sociale… Vive les désobéisseurs ! », car « l’évaluation est trop souvent un moyen pour des fins contestables ». À ce propos, Lebrun (2017) dit justement « L’évaluation préfère les performances aux apprentissages… On n’évalue pas les ailleurs ! ». De Gauléjac (2005) s’insurge contre la « quantophrénie » et les méfaits du pouvoir managérial, tandis que les partisans du mouvement évidence based education se plaignent du trop grand nombre d’études qualitatives menées sans rigueur et sans aucune perspective de transfert des résultats de telles recherches.

1. QUE VOULONS-NOUS DONC FAIRE ?

Nous ne pouvons rester indifférents à de telles critiques et craintes, car l’indifférence tait et tue ce qui a été acquis par les chercheurs et les acteurs de terrain pendant de longues années. Il ne faut donc pas « jeter le bébé avec l’eau du bain », car, pour reprendre une expression de Mireille Cifali3, « l’occultation des acquis antérieurs n’est jamais de bon augure ». Il ne faut pas non plus mener une guerre partisane et d’opposition, comme le souligne Lucie Mottiez dans son allocution en hommage à Jean Cardinet (Lausanne, le 10 novembre 2016) : « Attention aux approches parallèles ! Faisons attention aux approches intégratives ».

C’est donc sur ces principes fondamentaux que nous avons voulu explorer les possibles de l’évaluation, en jetant un regard méta sur les acquis antérieurs, non pour les rejeter mais pour mieux les situer comme « construits » situés, qu’il importe d’intégrer au fil du temps pour produire d’autres possibles, c’est-à-dire de nouvelles connaissances qui seront soumises au regard de nouvelles expertises.

Au fil du temps, on peut repérer de nombreux essais de conceptualisation. Notre propos n’est pas de les évoquer tous, mais d’en évoquer plusieurs auxquels nous avons participé.

2. PREMIÈRE TENTATIVE DE CONCEPTUALISATION : LES « PARADIGMES » DE L’ÉVALUATION

Sur la base d’une recension des principaux travaux anglo-saxons des années 70 ainsi que des travaux des chercheurs francophones entre 1976 (première rencontre belgo-suisse des chercheurs en évaluation) et 1993 (5 ans après l’institutionnalisation de l’ADMEE-Europe), nous publions une tentative de synthèse des travaux dans la Revue française de pédagogie, intitulée « L’évaluation conjuguée en paradigmes » (De Ketele, 1993). En effet, pendant cette période, on assistait progressivement à ce que Jean Cardinet appelait déjà un élargissement de l’évaluation, dans le sens où des champs disciplinaires différents s’emparaient de l’évaluation, au préalable dans les seules mains des enseignants. Avec leurs référents propres, les auteurs constituent un cadre implicite qui définit les problèmes, les méthodes et les solutions de l’évaluation. C’est ce que, reprenant les travaux de Kuhn, Doyle (1986) appelle un paradigme. En suivant approximativement leur diffusion4 dans le temps, nous pensions alors pouvoir énoncer et nommer onze paradigmes.

Suite aux observations de l’évaluation pratiquée par les enseignants dans leur classe (Perrenoud, 1984) ou dans leurs relations avec les parents (Favre & Montandon, 1989), nous caractérisions le cadre implicite des évaluateurs de terrain en termes de « paradigme de l’intuition pragmatique ». Leur évaluation est un acte syncrétique, étroitement lié à la personne de l’enseignant et au contexte dans lequel il œuvre5. Ni les objectifs, ni l’univers de référence des situations, ni les critères à prendre en considération, ni la façon de synthétiser et d’interpréter les informations, ni la façon d’utiliser les résultats de l’évaluation ne sont définis avec précision. L’évaluation est un acte pragmatique, basée sur une expérience accumulée, sur les besoins de la gestion sociale de la classe et sur un jugement pronostique des chances qu’un élève a de réussir son année. Face aux critiques des premiers chercheurs dans le champ de l’évaluation, Weiss (1984, 1986) prendra la défense de ce paradigme dans un article célèbre au titre évocateur « La subjectivité blanchie ? » qui, dit-il, vaut bien celle des chercheurs qui ont trop tendance à dissocier formation et évaluation.

Entre les années 60 et 80 se développait un courant de plus en plus fort, essentiellement orienté vers la fidélité ou la fiabilité des évaluations conduites par les enseignants, dont les principaux représentants étaient Piéron (1963), Bonniol dans ses premiers travaux (1972), Noizet & Caverni (1978). Ainsi naissait la docimologie, science des examens, et avec elle « le paradigme docimologique », selon lequel le problème de l’évaluation est avant tout un problème de mesure et de fiabilité de celle-ci : il s’agit donc de bien connaître les biais de l’évaluation et de trouver les solutions pour les réduire. Fort inspiré de la psychométrie, ce courant allait générer la théorie de la généralisabilité (Cardinet, Tourneur & Allal, 1976 ; Cardinet & Tourneur, 1985, dont le but est d’assurer la mesure et de circonscrire la sphère de généralisation des résultats de celle-ci. Ce courant allait aussi voir naître l’édumétrie (Laveault & Grégoire, 1997 & 2002), rendue nécessaire par l’avènement des enquêtes évaluatives internationales.

Très tôt, les sociologues se sont intéressés au rôle de l’école, comme mécanisme de reproduction sociale et de légitimation des inégalités scolaires (Bourdieu & Passeron, 1964, 1970). Perrenoud (1984) fut un des premiers à étudier le rôle joué par l’évaluation dans « La fabrication de l’excellence scolaire » (titre de son célèbre ouvrage). Il y montre comment les évaluations formalisées (les interrogations et surtout les examens) ne sont jamais indépendantes des évaluations informelles, implicites, fugitives qui se forment au gré des interactions dans la classe. L’évaluation tend donc à rendre plus visibles certaines différences existant au départ et, en même temps, générer curieusement « une certaine indifférence aux différences » (Perrenoud, 1979, p. 44). Nous nommions cette formalisation « le paradigme sociologique » qui donnera plus tard une place prépondérante au concept d’équité.

En opposition au courant précédent, le monde anglo-saxon appliquait les principes du behaviorisme à la problématique de l’évaluation. Déjà en 1950, Tyler développait une approche de l’évaluation centrée sur des objectifs clairement fixés, hiérarchisés6, opérationnalisés et donc mesurables : la PPO (pédagogie par objectifs) était né et allait être à la base de nombreuses réformes. Bloom (1971) allait prolonger ces travaux et les formaliser davantage avec la pédagogie de maîtrise autour du postulat de base, selon lequel tout élève réussirait un apprentissage déterminé dans la mesure où il consacrerait le temps nécessaire pour la tâche. Outre la programmation précise des tâches autour de micro-objectifs dans une progression, l’évaluation joue donc un rôle central à travers ces trois fonctions : diagnostique avant une nouvelle tâche, formative en cours d’apprentissage et sommative7 pour voir en fin de course si l’on peut passer à l’étape suivante. Dans notre synthèse de 1993, nous avions regroupé la PPO et la pédagogie de maîtrise sous l’étiquette « le paradigme de l’évaluation centrée sur les objectifs ». Alors que le paradigme docimologique avait généré le concept de fiabilité et le paradigme sociologique celui d’équité, ce paradigme de nature behavioriste privilégie les concepts de validité pour la mesure et celui d’efficacité en termes de politique éducative.

La PPO et la pédagogie de maîtrise allaient subir de nombreuses critiques : Hameline (1980) parle de « péché behavioriste » ; De Ketele (1980) stigmatise la tentation du découpage de plus en plus fin (un « saucissonnage pédagogique ») ; Donnay et Charlier (1991) estiment que l’entrée par les objectifs n’est pas habituelle pour les enseignants et que d’autres entrées sont tout aussi valables ; Barbier (1985) dénonce déjà la tentation des rapports pyramidaux entre les prescripteurs et les acteurs de terrain. Issues du monde francophone de l’ADMEE, ces critiques allaient défendre une autre conceptualisation de l’évaluation que nous nommions « le paradigme de l’évaluation formative dans un enseignement différencié », dont les fondements étaient établis lors du colloque de Genève de 1978 et publiés en 1979 dans l’ouvrage collectif édité par Allal, Cardinet & Perrenoud. Pour être formatif et s’adapter aux élèves et à leurs parcours différents, le processus évaluatif passe par trois étapes : une étape de recueil d’informations des progrès et des difficultés d’apprentissage ; une étape d’interprétation des informations en termes d’hypothèses diagnostiques ; une adaptation effective des activités d’enseignement et d’apprentissage en fonction des hypothèses émises. L’évaluation a donc une fonction primordiale de régulation qui peut prendre des formes tantôt rétroactives, tantôt interactives, tantôt proactives (Allal, op. cité). Cardinet (op. cité) précisera que pour bien réguler, neuf questions-clés se posent : quels besoins ? Pour quoi évaluer ? Pour qui évaluer ? Sur quoi évaluer ? Quand évaluer ? Comment recueillir l’information ? Comment interpréter l’information ? Quels sont les problèmes en suspens ?

Les paradigmes exposés jusqu’à présent restent tous centrés sur l’évaluation des apprentissages. Avec les travaux de Stufflebeam (1971,1980) et Stufflebeam & Shinkfield (1985) qui mettent l’évaluation au service de la décision, nous entrons pour la première fois dans un paradigme qui prend en compte le système de formation dans lequel l’apprentissage prend place. Il s’agit du modèle CIPP (Context, Input, Processus, Product), désormais mondialement connu et utilisé par de nombreux experts. Ce modèle affirme que l’évaluation sert la prise de décision et que pour bien la servir, quatre types d’évaluations doivent être conduites et objets d’interprétations coordonnées pour fonder un ensemble de décisions valides. L’évaluation du contexte institutionnel, de ses ressources et de ses contraintes permet de prendre des décisions d’aménagement de la situation, des finalités et des objectifs de la formation, du type d’informations à recueillir pour évaluer les résultats. L’évaluation des intrants (inputs) évalue les capacités et ressources mobilisables pour prendre les décisions d’implantation qui s’imposent. L’évaluation des processus vise à identifier les actions et démarches menées, celles qui fonctionnement bien et celles qui dysfonctionnent, pour permettre d’envisager les régulations nécessaires et donner du sens aux résultats produits. L’évaluation des produits porte des jugements sur les résultats en référence aux objectifs fixés et en leur donnant du sens en tenant compte des caractéristiques du contexte, des intrants mobilisés et des processus mis en œuvre. Ce « paradigme de l’évaluation au service de la décision » sert, à travers les quatre formes coordonnées d’évaluation, l’action et la prise de décision du et dans le système pour le réguler.

À partir de la lecture des travaux de Stufflebeam & Shinkfield (1985), nous estimions à l’époque (et estimons toujours) qu’au terme du processus évaluatif le but recherché était de produire une prise de décision pour l’action, et non pas un jugement sur une performance, une personne, une action, une institution. En 1989, sollicité par la Fondation Universitaire à Bruxelles, nous définissions comme suit le processus évaluatif : « Évaluer signifie recueillir les informations pertinentes, valides et fiables et examiner le degré d’adéquation entre cet ensemble d’informations et un ensemble de critères adéquats en vue de prendre une décision fondée ». Avec cette définition, nous retrouvons trois concepts (informations, critères, décision), trois qualités (pertinence, validité, fiabilité) et trois démarches (recueillir, traiter, décider) qui ont émergé dans les mouvements antérieurs. La dimension politique mise en évidence par Stufflebeam et la question de la pertinence de l’évaluation nous interpellaient, car on peut mener une évaluation techniquement valide et fiable, mais cependant non pertinente sur le plan de la politique éducative. De cette réflexion et de la critique de la pédagogie de maîtrise sont nés les concepts de pédagogie de l’intégration et d’objectif d’intégration. La pédagogie de l’intégration veut échapper au piège du saucissonnage dont la démarche « sommative » est le révélateur, car le tout n’est pas la somme des parties et il ne suffit pas de juxtaposer des acquis pour mobiliser ceux-ci dans de nouvelles tâches. D’où l’intérêt de se fixer pour l’évaluation des « objectifs d’intégration », concept précurseur de celui de « compétence » qui allait émerger8, avec les caractéristiques suivantes : (a) une tâche complexe ne pouvant être réussie sans combiner et intégrer plusieurs acquis antérieurs ; (b) une situation complexe pensée pour intégrer un certain nombre d’informations à traiter ; (c) autant que possible une tâche et une situation proche de la réalité et (d) orientée vers le développement de l’autonomie et du « savoir-devenir » de l’apprenant. Grâce à leur expérience internationale, De Ketele (1995) puis Roegiers & De Ketele (2000) allaient formaliser « le paradigme de l’évaluation au service d’une pédagogie de l’intégration ».

De Scriven (1967, 1983), les pédagogues n’ont souvent retenu que la distinction entre évaluation formative et sommative, alors que ses travaux inaugurent une démarche originale peu connue des francophones : a) Scriven préfère à l’évaluation professionnelle une « évaluation en amateur », ce qui sera repris par Weiss (1986) ; (b) il est important d’évaluer les effets de la formation pour les mettre au service des « consommateurs » ou « clients », ce qui préfigure le « quasi-marché » ; c) il défend une évaluation dégagée des objectifs (goal free évaluation) ; (d) le jugement de valeur est le concept-clé de l’évaluation (et non celui d’objectif ou de décision) ; (e) pour produire un jugement de valeur pertinent, il faut partir libre de tout objectif et recueillir un maximum d’informations par des voies multiples ; (f) Scriven défend l’idée d’une évaluation externe pour des évaluations sommatives à finalité certificative. Ainsi émerge avec Scriven « le paradigme de l’évaluation centrée sur le consommateur » dont vont surtout s’emparer des bureaux d’expertise, organismes nationaux ou internationaux chargés d’évaluer la qualité ou d’accréditer des institutions ou des formations.

Stake (1967, 1975, 1976) va tenter de concilier les points de vue de Tyler, Stufflebeam et de Scriven. D’abord mathématicien et psychométricien déçu de la théorie classique de la mesure pour résoudre les problèmes de l’évaluation, constatant par ailleurs que les résultats attendus et même les résultats observés ne sont pas nécessairement les mêmes selon les personnes, il développe « le paradigme de l’évaluation répondante ». Les « clients » étant multiples et ayant des normes différentes, l’évaluation doit « répondre » à leurs attentes et besoins. Il s’agit donc de lister les « intentions » des clients et de recueillir un ensemble varié d’informations, les plus objectives possibles, et d’établir une « matrice de description » croisant intentions et informations. Le traitement de cette matrice permet de faire apparaître les accords et les désaccords : a) entre les différentes « audiences » ; b) entre intentions et observations ; c) entre critères et jugements ; d) entre descriptions et jugements ; e) entre fondements du programme, descriptions et jugements. Cette évaluation répondante est dite aussi « illuminative » pour les clients. Ce paradigme va inspirer de nombreux mouvements, comme l’évaluation participative ou collaborative, ou encore la recherche qui réunit chercheurs et acteurs de terrain.

Les sociologues ont mis en évidence les effets induits de l’évaluation : Stufflebeam montre que l’évaluation s’inscrit dans un système et sert la décision et l’action, plusieurs paradigmes s’opposent sur les objets à évaluer (objectifs micro et juxtaposés vs objectifs d’intégration). Scriven attire l’attention sur les consommateurs et Stake sur la variété des audiences et de leurs référentiels. Ces différents éléments attireront l’attention des politiques et des gestionnaires des systèmes éducatifs, très soucieux de rentabilité et de redevabilité (« accountability »). De même, les économistes vont s’emparer de l’évaluation, aux États-Unis d’abord où des sommes considérables vont être débloquées autour des recherches de l’IEA. La France suivra avec la création de l’Institut de Recherche en Économie de l’Éducation à Dijon en 1971. Avec les outils de l’économétrie, les chercheurs (Mingat 1984, 1987, 1991 ; Duru & Mingat, 1985, 1988 ; Bressoux, 1993) vont surtout s’attacher à évaluer l’efficacité des dispositifs éducatifs, en termes de capacité de ceux-ci à faire progresser plus rapidement les performances d’un public donné dans un laps de temps donné. Ils s’emploieront ensuite, à l’aide de modèles de régressions multiples, à identifier les facteurs associés linéairement aux mesures d’efficacité. Ayant ensuite estimé les coûts de ressources investis dans les dispositifs, ils tenteront d’indiquer aux décideurs sur quels facteurs investir davantage pour optimiser l’efficience d’un dispositif. Si l’efficacité et l’efficience seront les préoccupations premières des économistes de l’éducation, la problématique de l’équité (distribution inégale des performances, des progressions, des parcours et des ressources selon les sous-groupes d’appartenance) prendra progressivement une importance de plus en plus grande dans leurs travaux, sous la pression de nombreux acteurs. Les économistes de l’éducation et les spécialistes de la mesure prendront de plus en plus de place dans les organismes nationaux et internationaux chargés d’évaluer les dispositifs et systèmes éducatifs. « Le paradigme économique de l’évaluation » a pris (une grande) place dans la noosphère des gestionnaires de l’éducation (Vial, 2012, chapitre 2).

Nous terminerons cette première section par un paradigme de synthèse que nous avions appelé à l’époque (1993) le paradigme de l’évaluation comme processus de régulation et que nous compléterions maintenant en ces termes « le paradigme de l’évaluation comme processus systémique de régulation ». En effet, si le concept de régulation était déjà présent en 1978 au colloque de Genève, mais étudié seulement au cœur du processus d’apprentissage, il s’est élargi au fil du temps, avec l’apparition des paradigmes précités, à l’évaluation des dispositifs conçus comme systèmes éducatifs et de formation. Comme le souligne Figari (1993), les référentiels sont multiples à l’intérieur du système de formation et rentrent souvent en compétition, voire s’ignorent : de gestion pour les administrateurs, d’expertise pour les consultants et auditeurs, scientifique pour les chercheurs, pédagogique pour les enseignants, centré sur la représentation de la réussite ou de l’échec pour l’élève pour les psychologues, centré sur le devenir pour les parents. Les régulations peuvent donc porter sur des objets différents, tantôt des produits et tantôt des processus, et prendre des formes différentes, tantôt des postures de contrôle et tantôt des postures d’accompagnement (Bonniol, Genthon & Roger, 1989 ; Ardoino & Berger, 1986).

En portant un regard méta sur notre tentative de conceptualisation de 1993, nous nous apercevons qu’en partant cependant des mêmes faits principaux, nous opérons une certaine reconstruction conceptuelle : notre regard en 2017 perçoit plus nettement l’émergence progressive de concepts qui influenceront les paradigmes en devenir. Nous avons tenté de les identifier (Tableau 1).

Tableau 1 : L’émergence de concepts importants dans les différents paradigmes

Paradigmes

Concepts émergents

… de l’intuition pragmatique

Enseignement → évaluation située

Intuition → subjectivité blanchie

… docimologique

Mesure

Fiabilité → théorie de la généralisabilité

… sociologique

Déterminisme social

→ Équité

… centré sur les objectifs (Tyler/Bloom)

Behaviorisme → produits → efficacité

→ Objectifs mesurables → validité

… évaluation formative dans un enseignement différencié

Apprentissage comme processus

Régulation de l’apprentissage

… évaluation centrée sur la décision (Stufflebeam)

Du contexte/inputs/processus/produits à la décision et à l’action → système

… évaluation au service de la pédagogie de l’intégration

Enseignement/apprentissage : processus d’intégration → compétence → APC → pertinence

… évaluation centrée sur les consommateurs (Scriven)

Consommateurs ou clients

Évaluation externe → quasi marché

… évaluation répondante (Stake)

Évaluation répondante ou illuminative

→ audiences et référentiels divers → évaluation et recherche collaboratives

… économique

Les 3 « E » de la qualité : efficacité, efficience, équité → « accountability »

… processus systémique de régulation

Régulation des systèmes et sous-systèmes

→ postures des évaluateurs

À travers ces paradigmes se dessine toute une série de mouvements qui sont autant de tensions que les tentatives de conceptualisation ultérieures devront tenter d’intégrer. Citons-en quelques-uns : de l’enseignement à l’apprentissage ; des dispositifs locaux d’apprentissage aux dispositifs globaux de formation ; de l’intuition à la mesure ; de l’évaluation interne à l’évaluation externe ; des objectifs spécifiques mesurables à des compétences complexes ; de référentiels et audiences uniques à des référentiels et des audiences multiples ; de l’efficacité à l’équité ; de l’autonomie à la redevabilité ; de la régulation locale à la régulation systémique…

Notes

3. Mireille Cifali utilise cette expression dans la préface d’un livre en cours d’édition sur « Neurosciences et apprentissage ».

4. Les paradigmes issus d’auteurs anglo-saxons ont été diffusés dans le monde francophone avec quelques années de retard par rapport à leur création.

5. Dans un article de synthèse, Tourmen et Droyer (2013a) évoquent ces éléments pour caractériser ce qu’elles appellent une « théorie spontanée ».

6. De cette période datent les premières typologies d’objectifs. Parmi plus de cent typologies qui verront le jour, celle de Bloom sera la plus célèbre.

7. En toute rigueur, il faudrait dire « certificative », car « sommative » a trait à une démarche et non à une fonction ; de même, il est plus exact de parler de fonction d’orientation (préparer une action) que de fonction diagnostique, car le diagnostic caractérise la fonction formative (voir De Ketele, 2010, 2013).

8. L’enseignement agricole en France allait être des premiers à mettre en œuvre une approche par les compétences (Tourmen & Droyer, 2013b).

Pour toute information sur notre fonds et les nouveautés dans votre domaine de spécialisation, consultez notre site web : www.deboecksuperieur.com

© De Boeck Supérieur s.a., 2019
Rue du Bosquet, 7 – B-1348 Louvain-la-Neuve

Cette œuvre est protégée par le droit d'auteur et strictement réservée à l'usage privé du client. Toute reproduction ou diffusion au profit de tiers, à titre gratuit ou onéreux, de tout ou partie de cette oeuvre, est strictement interdite et constitue une contrefaçon prévue par les articles L.335-2 et suivants du Code de la Propriété Intellectuelle. L'éditeur se réserve le droit de poursuivre toute atteinte à ses droits de propriétéintellectuelle devant les juridictions civiles ou pénales.

Ce document numérique a été réalisé par PCA