QUE SAIS-JE ?

Les enquêtes PISA

GEORGES FELOUZIS

SAMUEL CHARMILLOT

Remerciements

Les auteurs remercient Barbara Fouquet-Chauprade et Marion Dutrevis, maîtres-assistantes à la Faculté de Psychologie et des Sciences de l’Éducation de l’Université de Genève, pour leur relecture d’une première version de ce livre. Leurs remarques et suggestions ont permis d’améliorer le fond comme la forme de ce texte.

Bibliographie thématique

« Que sais-je ? »

Patrick Rayou, Agnès van Zanten, Les 100 mots de l’éducation, n° 3926

Agnès van Zanten, Les politiques éducatives, n° 2396

Xavier Pons, L’évaluation des politiques éducatives, n° 3914

Vincent Troger et Jean-Claude Ruano-Borbalan, Histoire du système éducatif, n° 3729

Pierre-Yves Bernard, Le décrochage scolaire, n° 3928

978-2-13-062417-2

Dépôt légal – 1re édition : 2012, septembre

© Presses Universitaires de France, 2012
6, avenue Reille, 75014 Paris

Introduction

Qu’apprennent les élèves à l’école ? De quoi dépendent leurs acquis et dans quelle mesure sont-ils capables de les utiliser dans la vie quotidienne et plus tard dans leur vie professionnelle ? Quel type d’organisation scolaire favorise des niveaux de compétences élevés et pour quel type d’élèves ? Quelle est l’ampleur des inégalités scolaires liées à l’origine sociale, au sexe, à un parcours migratoire éventuel ou à d’autres dimensions ? Les enquêtes PISA (Programme international de suivi des acquis des élèves) apportent des réponses à ces questions et à bien d’autres encore. Elles comparent les compétences des élèves à 15 ans – pour l’édition 2009 – dans 65 pays pour la compréhension de l’écrit, la culture mathématique et la culture scientifique. Au regard de la large diffusion des résultats de ces enquêtes, dans le milieu de la recherche internationale comme dans l’opinion des pays participants, il est nécessaire de comprendre comment elles sont construites, quelles en sont les limites et ce qu’elles nous apprennent sur les processus éducatifs en général et le système éducatif français en particulier. C’est l’objet du présent ouvrage que d’éclaircir ces points et d’entreprendre une véritable enquête sur les enquêtes PISA.

Une telle investigation suppose de rappeler quelques éléments structurants qui ont présidé à la création et au développement de ces enquêtes et de les situer par rapport à d’autres enquêtes comparables. Comparer l’éducation dans un grand nombre de pays peut prendre au moins deux formes.

On peut comparer, comme le font nombre d’organismes internationaux¹, le fonctionnement des systèmes éducatifs en proposant des indicateurs tels que des taux d’obtention du baccalauréat (ou de son équivalent selon les pays), le nombre moyen d’années d’études, le coût annuel d’un étudiant ou encore le salaire moyen des titulaires de tel ou tel diplôme du supérieur. Dans ce cas, on produit des comparaisons qui portent sur la distribution des biens éducatifs (les diplômes) et sur leurs effets aux plans collectif comme individuel (Establet, 1987 ; Baudelot et Leclercq, 2005) en fonction des pays, de leur niveau de richesse et de leur investissement éducatif. Les sources ici sont essentiellement de nature officielle et sont produites par les États eux-mêmes. La mobilisation et la synthèse de ces informations ne sont pas aisées, et il s’agit toujours de constructions abstraites qui rendent compte d’une certaine réalité au plan éducatif. Mais il existe un large consensus sur les modalités de production de ces indicateurs et leur interprétation ne pose pas de problème majeur ni de vives controverses. De plus, cette approche est de première importance puisqu’elle permet de comprendre comment les politiques éducatives, de l’école élémentaire jusqu’à l’enseignement supérieur, ont des conséquences sur l’ensemble de la société. On trouve dans les rapports réguliers de l’OCDE (Organisation de coopération et de développement économiques), Regards sur l’éducation (OCDE, 2011 a), ou encore d’autres organismes internationaux comme l’UNICEF², des données comparatives de ce type, très utiles pour le chercheur comme pour le politique ainsi que pour tout citoyen désireux de s’informer sur les questions éducatives. On peut ajouter que le ministère de l’Éducation nationale, par l’intermédiaire de la DEPP³, produit des données de ce type pour la France. Cela permet par exemple de comparer dans le temps le fonctionnement du système éducatif : évolution des taux de réussite au baccalauréat à partir de panels d’élèves, ampleur des inégalités scolaires, variation des taux d’encadrement dans les classes, etc.

Mais c’est une chose de comparer de la sorte les pays en fonction d’indicateurs « objectifs », c’en est une autre de répondre à la question des acquis des élèves et des étudiants. Le développement de la scolarisation, l’allongement du temps d’enseignement et de la prise en charge de la jeunesse par l’école ont principalement pour but d’augmenter le niveau des acquis d’une population donnée. Il faut donc concevoir des approches plus « qualitatives » au sens où l’on se questionne sur la qualité de l’éducation en termes d’acquis et d’apprentissage et non plus seulement en termes de « longévité scolaire ». Il devient alors pertinent de concevoir des modalités de recueil des données d’enquête à large échelle, fruits de réponses d’un échantillon représentatif d’élèves à des tests dont il faut concevoir la forme comme les contenus. En d’autres termes, il faut ici concevoir des enquêtes ad hoc capables de mesurer la répartition de savoirs ou de compétences (la nuance est de taille, nous y reviendrons) dans une population donnée. Il devient donc nécessaire de faire des choix dont la pertinence dépend des objectifs que l’on se fixe. Que veut-on mesurer ? Dans quels buts ? Par quels moyens ? C’est là que se situent les enquêtes PISA et c’est par là que nous introduirons notre propos.

Commençons donc par le contexte et notamment celui créé par les comparaisons internationales en éducation depuis les années 1960. Norberto Bottani et Pierre Vrignaud (2005), dans leur rapport sur « La France et les enquêtes internationales en éducation », montrent que la préoccupation pour la comparaison entre plusieurs pays des acquis des élèves n’est pas nouvelle. À partir du début des années 1950, l’UNESCO⁴ puis l’IEA⁵ créé en 1967 ont mis en place des comparaisons de façon à rendre compte des effets de l’enseignement dans une perspective internationale. Ces premières enquêtes répondent à des préoccupations scientifiques, mais expriment aussi l’évolution des politiques scolaires et l’émergence d’un enseignement de masse qui se développe à des degrés divers selon les pays. Dès lors que l’espérance de scolarisation augmente et que la proportion de diplômés s’accroît, il devient pertinent de savoir, au plan plus qualitatif, ce qu’apprennent les élèves à l’école et les compétences (les économistes diraient le « capital humain ») que cela permet de produire. L’éducation est un investissement pour les sociétés comme pour les individus, il n’est donc pas inutile d’en mesurer le produit en termes de savoirs comme de compétences. Ces premières enquêtes internationales en éducation ont aussi servi de modèles aux enquêtes PISA, au sens où ces dernières ont repris un certain nombre d’outils conçus et testés pour ces enquêtes, mais aussi parce que les concepteurs de PISA ont tiré les leçons d’un certain nombre de limites de ces premières évaluations internationales. En effet, les enquêtes de l’IEA sur les mathématiques et les sciences TIMSS et sur la lecture PIRLS⁶ ont permis de construire des instruments nécessaires à ces comparaisons : conception et traduction de tests, échantillonnage garantissant la comparabilité des résultats, méthodes d’analyses, etc. Deux principes pourtant les distinguent des enquêtes PISA.

D’abord, le choix de mesurer les savoirs scolaires en relation avec les programmes, ce qui, dans le cadre des comparaisons internationales, peut poser des problèmes spécifiques. Cet objectif demande en effet d’établir des points communs assez forts entre les programmes des différents pays participants. Or, on sait que même dans des pays proches aux plans géographique et économique les curricula sont très différents. On est donc conduit à raisonner sur le plus petit dénominateur commun de ces programmes, au risque de laisser dans l’ombre un pan important des savoirs acquis par les élèves.

Ensuite, et en accord avec ce premier choix, l’échantillon d’élèves à interroger ne peut être défini que par son niveau de scolarisation. Le choix de ne questionner que les élèves d’un niveau de scolarisation donné peut avoir pour conséquence d’exclure une partie des élèves, et en particulier les plus faibles, qui n’accèdent pas à ce niveau de scolarisation.

Par contraste, les enquêtes PISA ont innové dans le but de limiter ces problèmes de biais dans les enquêtes internationales.

La première innovation vise à éviter l’écueil d’une référence directe à des programmes scolaires, et donc aux « savoirs » acquis par les élèves, pour aller vers une mesure de leurs « compétences », c’est-à-dire des capacités à résoudre des problèmes et trouver des solutions à des exercices dans des contextes les plus proches possible de la vie quotidienne. L’enquête PISA cherche donc « à évaluer la capacité des jeunes à utiliser leurs connaissances et compétences pour relever les défis du monde réel. Cette approche reflète l’évolution des objectifs des programmes de cours : la priorité va désormais à ce que les élèves savent faire avec ce qu’ils ont appris à l’école plutôt qu’à la mesure dans laquelle ils ont assimilé des matières spécifiques » (OCDE, 2011 b, p. 18). On reste ici dans le cadre de compétences liées au cadre scolaire (trouver des informations dans un texte, raisonner, argumenter, etc.) mais qui en même temps sont considérées comme indispensables à la vie dans les sociétés modernes. Nous verrons plus loin que la question essentielle ici est de déterminer ce qu’est une compétence et que le débat reste vif pour savoir ce que l’on mesure vraiment à travers elles.

La deuxième innovation concerne la définition de la population de référence. Celle-ci n’est pas définie par un niveau scolaire mais par l’âge des élèves, ce qui implique de questionner potentiellement tous les jeunes d’un âge donné, quels que soient leur filière, leur établissement, leur secteur. Le choix de l’âge de 15 ans (en fait 15 ans révolus) est lié à l’âge de fin de l’enseignement obligatoire qui est de 16 ans dans les pays de l’OCDE.

La troisième innovation est celle de la périodicité des enquêtes PISA qui sont réalisées tous les trois ans depuis 2000. À chaque cycle, un domaine est étudié plus en profondeur : la compréhension de l’écrit en 2000 et en 2009, les mathématiques en 2003 et la culture scientifique en 2006. Cela signifie que tous les neuf ans, il est possible de mesurer l’évolution des compétences des jeunes de 15 ans dans chaque pays pour un domaine majeur⁷, et de rendre ainsi compte de l’état de l’école, dans des contextes de réformes ou au contraire de permanence du point de vue des politiques éducatives mises en œuvre.

En définitive, les caractéristiques les plus saillantes des enquêtes PISA se situent au moins à trois niveaux, et chacun d’eux est une source potentielle de débats et de controverses sur lesquels cet ouvrage permettra de faire le point. D’abord, au plan proprement scolaire, elles mesurent, et par là même valorisent, les compétences des élèves plus que leurs savoirs. En mesurant des compétences indépendamment des programmes scolaires proprement dits, ces enquêtes permettent de comparer des systèmes éducatifs par nature très différenciés et qui de ce fait ne valorisent pas obligatoirement les mêmes contenus scolaires. Ensuite, au plan de la construction empirique, elles visent à enquêter auprès d’un échantillon représentatif de jeunes de 15 ans, ce qui leur donne une portée générale. La population de référence est constituée par tous les élèves d’un âge donné, et pas seulement par ceux qui réussissent à atteindre tel ou tel niveau ou filière. C’est là un dispositif nécessaire pour pleinement étudier l’ampleur des inégalités scolaires dans chaque pays. Enfin, au plan politique, elles jouent un rôle en exerçant une contrainte douce (mais bien réelle) sur les politiques éducatives des différents pays en donnant à voir de « bonnes pratiques » et en valorisant les pays les plus « performants ». Chaque volume des rapports PISA comporte un chapitre conclusif intitulé « Conséquences pour l’action publique » qui recense les orientations jugées pertinentes pour améliorer l’efficacité et l’équité des systèmes éducatifs nationaux. Ce qui montre la volonté de l’OCDE d’orienter les politiques éducatives de chaque pays en fonction de ses objectifs propres (Grek, 2009) et ainsi de proposer un gouvernement de l’éducation « par les nombres » (Felouzis et Hanhart, 2011).

Ce mélange de rigueur scientifique et méthodologique d’une part, et d’un poids politique qui s’impose aux États de l’autre, a progressivement consacré l’OCDE comme un interlocuteur pertinent pour jauger les politiques scolaires. Cette situation inédite est probablement à l’origine de l’ampleur des débats que suscitent ces enquêtes, tour à tour magnifiées par les médias et les instances internationales, fustigées par certains pays mécontents de la piètre image qu’elles donnent de leur école, soumises à de sévères critiques méthodologiques de la part de certains chercheurs et considérées comme une source inépuisable de données fiables par d’autres. Il nous reste à entreprendre un examen rigoureux de ces différents éléments pour comprendre les apports et les limites de ces enquêtes.

Chapitre I

Comment sont construites les enquêtes PISA ?

Mettre en œuvre une enquête internationale à large échelle dans plus de 60 pays auprès d’un échantillon de 470 000 jeunes de 15 ans représentatifs de 26 millions d’élèves doit nécessairement s’accompagner d’une organisation poussée de la recherche. Pour garantir la comparabilité des résultats sur une si vaste échelle, il faut imposer des standards et des contrôles à chaque étape de réalisation de l’enquête, de la conception et de la réalisation des tests aux conditions de passation et de codage des résultats. Il faut mettre en place des normes de qualité identiques pour tous les pays et se donner les moyens d’en contrôler la mise en œuvre. Cela implique de mobiliser des scientifiques et des experts capables de construire des tests de compétences et des questionnaires, de concevoir des modalités précises d’analyse des résultats, d’interpréter les données recueillies, etc. Sans une telle normalisation des procédures, on ne peut prétendre produire des résultats fiables, robustes et comparables. Ces impératifs ne sont pas propres aux enquêtes PISA, ils sont communs à toutes les enquêtes à large échelle dont le but est d’observer en milieu « naturel » (par opposition aux recherches qui procèdent de façon expérimentale) des performances, des pratiques ou des opinions d’un vaste échantillon représentatif⁸ et d’en inférer des résultats pour l’ensemble de la population de référence.

Notre propos sera donc dans ce premier chapitre de définir les principes et les procédures concrètes sur lesquels est construite l’enquête de façon à en évaluer la fiabilité. Après une présentation des principes généraux qui guident les enquêtes PISA en matière de comparaison internationale, nous décrirons ses étapes clés : la définition et la mesure des compétences, le calcul des « valeurs plausibles » associées à chaque élève pour donner une mesure de ses compétences, les modalités de construction de l’échantillon d’élèves, et enfin les méthodes d’harmonisation de certaines phases cruciales de l’enquête : la traduction des tests, l’administration des épreuves et le codage des réponses.

I. – Une conception universaliste de la comparaison en éducation

On peut schématiquement distinguer deux conceptions de la comparaison internationale en éducation. D’abord une option particulariste, qui se propose de montrer comment chaque système éducatif est le fruit d’une histoire et d’une culture fortement ancrée, dans une nation ou une région. L’idée même de comparaison est, dans ce cas, centrée sur l’énoncé de tout ce qui sépare chaque système éducatif et en quoi il est l’expression d’une culture spécifique propre à chaque contexte. La seconde conception, celle mise en œuvre par les comparaisons internationales de l’OCDE, relève d’une option dite « universaliste » (Mons, 2007) au sens où l’idée n’est pas tant de relever les particularités de chaque système mais de considérer qu’ils poursuivent les mêmes objectifs et donc qu’il est pertinent de les comparer selon les mêmes critères considérés comme universellement reconnus. Cette option est consubstantielle à l’idée d’une réelle comparaison internationale car le fait même de comparer des systèmes éducatifs revient à postuler qu’ils ont assez de points communs pour que la comparaison soit possible. Dans le cas des enquêtes PISA, deux concepts clés servent de critères de comparaison : celui d’efficacité et celui d’équité.

1. Efficacité et équité. – L’efficacité d’un système éducatif se mesure par sa capacité à atteindre ses objectifs au plan scolaire en conduisant les élèves au plus haut niveau d’acquis possible. De façon empirique, elle se mesure par les scores moyens des élèves d’un pays comparés à la moyenne de l’ensemble des pays considérés ou simplement, dans le cas précis des enquêtes PISA, à la moyenne des pays de l’OCDE. Le raisonnement consiste ici à situer chaque échantillon national d’élèves de 15 ans sur une échelle unique et ainsi à positionner chaque pays selon un critère considéré comme commun. L’hypothèse sous-jacente est que l’objectif commun à chaque système d’enseignement obligatoire est de conduire le plus grand nombre d’élèves au plus haut niveau de compétence possible. Cette hypothèse s’ancre dans l’observation des politiques éducatives des pays de l’OCDE et des pays partenaires qui vont dans le sens d’une démocratisation de l’enseignement par des voies certes variées selon les pays, mais toujours dans l’objectif de base au plus grand nombre⁹. Le second concept clé est l’équité. Il s’agit alors de savoir comment les biens éducatifs (les acquis, les connaissances, les compétences, etc.) sont répartis dans une population donnée.

L’idée qui préside aux enquêtes PISA est qu’une répartition équitable des biens éducatifs est une valeur forte des sociétés et des systèmes éducatifs modernes (Demeuse et al., 2005) et qu’il est donc souhaitable d’en évaluer la réalisation concrète sur la base d’enquêtes empiriques. Dès lors que le propre des sociétés démocratiques est de conditionner la position sociale de chacun à son mérite et non à sa position sociale de départ ou à sa richesse, il devient pertinent d’en faire un critère d’évaluation de ces sociétés et de leur école. Dans ce cadre, une répartition équitable de compétences ou de diplômes dépendra le moins possible de la position des individus dans la société et le plus possible de leur talent, c’est-à-dire ici de leur capacité personnelle à réussir. La mesure empirique de ce degré d’équité passe par la comparaison de l’ampleur des inégalités de compétences, que celles-ci soient mesurées au plan individuel (on choisit alors de considérer l’écart-type autour d’un score moyen), ou au plan de groupes d’individus socialement pertinents, qui se définissent par exemple en fonction du niveau socioéconomique de la famille, du sexe, d’une éventuelle migration ou origine migratoire. Dans cette perspective, un système éducatif sera considéré comme peu équitable si l’acquisition des compétences dépend trop fortement de l’origine socio-économique, migratoire ou du sexe des élèves.

Encadré 1. – En quoi consistent les enquêtes PISA ?

En 2009, l’enquête a été administrée à environ 470 000 élèves de 15 ans, représentatifs de 26 millions d’élèves scolarisés dans 65 pays. Plusieurs questionnaires sont administrés :

– les tests cognitifs : il s’agit d’épreuves « papier-crayon » d’une durée de deux heures, destinées à mesurer les compétences en compréhension de l’écrit, en mathématiques et en sciences. L’objectif est d’évaluer dans quelle mesure les élèves interrogés possèdent les savoirs et les savoir-faire qui leur permettront de prendre une part active dans la société. Lors de chaque cycle, l’un des trois domaines est étudié à tour de rôle plus en profondeur.

Dans 20 pays, les élèves ont également rempli un questionnaire informatisé conçu pour évaluer leur capacité à comprendre des textes électroniques ;

– le questionnaire contextuel : d’une durée d’environ 30 minutes, il vise à recueillir des informations sur :

les caractéristiques des élèves (l’âge, le sexe, le statut migratoire, la langue maternelle parlée, etc.) ;

le milieu familial (le niveau d’étude et professionnel des parents, la composition du ménage, les ressources matérielles et culturelles disponibles) ;

les attitudes face à l’école, l’engagement et la motivation à apprendre, les stratégies d’apprentissage autorégulé ;

le climat scolaire et les relations élèves-enseignants ;

l’enseignement et les habitudes de lecture.

– le questionnaire établissement : les chefs d’établissement ont également répondu à un questionnaire d’une durée d’environ 30 minutes, afin de mieux connaître le contexte dans lequel sont scolarisés les élèves. Les questions portent principalement sur :

les caractéristiques des établissements (la taille, leur localisation, le taux de redoublement, etc.) ;

l’organisation des établissements (les programmes d’étude proposés, les critères d’admission et d’exclusion) et les pratiques d’enseignement ;

la qualité des ressources éducatives et matérielles à disposition, les modes de gestion et de financement ;

les pratiques d’affectation du personnel et les processus de prise de décision.

La partie contextuelle du questionnaire élève et le questionnaire établissement peuvent être consultés sur le site Internet de PISA¹⁰.

2. Les compétences. – On voit donc que l’hypothèse « universaliste » implique de définir des critères identiques et unidimensionnels de comparaison de façon à situer chaque pays sur une échelle continue, qu’elle concerne l’efficacité ou l’équité. Cette option universaliste détermine une grande part des choix opérés par les concepteurs des enquêtes PISA et notamment la nécessité de considérer le « produit » de l’éducation de façon la plus externe possible par rapport aux traditions éducatives nationales subsumées par les programmes scolaires. Au cœur de cette conception universaliste, la notion de compétence prend une place de choix car elle permet de construire un « équivalent général » du produit de l’éducation. Au-delà des matières scolaires effectivement étudiées en classe, des théorèmes appris, des œuvres littéraires étudiées ou des expériences de chimie mises en œuvre – par définition très différents d’un pays à l’autre –, on peut définir un acquis quantifiable et mesurable qui servira d’étalon de mesure pour évaluer l’efficacité et l’équité de tout système éducatif. Et cet étalon quantifiable est constitué par les compétences, c’est-à-dire « l’aptitude à mener à bien des tâches qui s’inscrivent dans des situations de la vie réelle et qui demandent une compréhension approfondie de concepts fondamentaux » (OCDE, 2011 b, p. 23). La qualité d’un système éducatif se mesurera donc, dans cette perspective, aux compétences qu’il est capable de produire auprès des jeunes générations à la fin de l’école obligatoire. Ce qui nous conduit au concept clé des enquêtes PISA : la « littératie » .