CE QUE NOUS DISENT LES SONDAGES

Jean-Jacques Droesbeke et Catherine Vermandele

Ce que nous disent les sondages

Préface d’Alain Eraly

Académie royale de Belgique

rue Ducale, 1 - 1000 Bruxelles, Belgique

www.academieroyale.be

Informations concernant la version numérique

ISBN : 978-2-8031-0666-0

© 2019, Académie royale de Belgique

Collection L’Académie en poche

Sous la responsabilité académique de Didier Viviers

Volume 119

Diffusion

Académie royale de Belgique

www.academie-editions.be

Crédits

Conception et réalisation : Laurent Hansen, Académie royale de Belgique

Illustration de couverture : Loredana Buscemi, Académie royale de Belgique

Publié en collaboration avec

Préface

Les sondages sont omniprésents : en sociologie comme en psychologie, en politique comme en économie. Partout se pose la question du grand nombre : dans l’industrie, le marketing, la santé, la mobilité, les transports, l’éducation, la gestion des ressources humaines, la sécurité, la gestion des déchets… Les sondages sont au cœur du fonctionnement des démocraties modernes, ils permettent de scruter les méandres de l’opinion publique en dehors des épreuves électorales, de mettre en scène la voix du peuple sans devoir en passer par les urnes. Les mêmes responsables politiques qui font mine de s’en désintéresser les scrutent avec anxiété et les discutent au sein des cabinets ministériels et dans les réunions d’états-majors des partis. On l’a souvent remarqué, les sondages, sitôt qu’ils sont médiatisés, ne se bornent pas à décrire l’évolution de l’opinion, ils participent à sa formation même. Les chiffres deviennent vite des faits. Un journal publie-t-il un sondage indiquant une popularité en hausse pour le candidat X, les citoyens en déduisent que X est populaire, les médias commencent à s’y intéresser, lui offrant une couverture médiatique qui achève de convaincre l’opinion que X est un candidat sérieux…

On mesure l’enjeu démocratique. Les citoyens, et trop souvent les journalistes eux-mêmes, courent aux conclusions sans trop s’interroger sur la validité des sondages : la méthode d’échantillonnage, la collecte des données, la formulation des questions, les modes de dépouillement, l’analyse des données recueillies. Qu’est-ce au juste qu’un échantillon représentatif ? Qu’est-ce qu’un intervalle de confiance ? Qu’est-ce qui distingue un sondage d’une simple enquête ? Où passe la frontière qui sépare le défendable de l’indéfendable au royaume des statistiques ? Dans une société d’abondance de chiffres, la distance critique est plus que jamais nécessaire.

C’est assez dire l’utilité d’un ouvrage de synthèse comme celui-ci. Les auteurs, tous deux experts éminents dans leur domaine mais aussi remarquables pédagogues, nous offrent un manuel à l’usage du citoyen éclairé comme du chercheur en sciences humaines. Dans une langue admirable de clarté et de simplicité, les auteurs nous introduisent à la science des sondages, ils nous rappellent les conditions de la validité statistique et la nécessité d’une vigilance critique. « Rejetez, nous disent-ils, des énoncés du genre : « 32 % des Belges pensent que… », n’acceptez plus d’estimations sans la marge d’erreur ! » Les chiffres ne sont pas la réalité, mais à certaines conditions, ils nous permettent de l’approcher : c’est l’immense mérite de cet ouvrage de nous prendre par la main et de nous guider pas à pas dans l’examen de ces conditions. Je pèse mes mots : la lecture de ce livre devrait s’imposer à quiconque s’intéresse à la vie sociale et politique, et en particulier à tous les étudiants qui s’engagent dans une étude empirique.

Alain Eraly,

Membre de l’Académie royale de Belgique

Avant-propos et mode d’emploi

Nous sommes quotidiennement confrontés à des résultats de sondages parus dans la presse ou diffusés sur les médias. Nos réactions sont souvent complexes. Positives quand les résultats vont dans une direction qui est la nôtre, elles deviennent dubitatives dans le cas contraire. Mais savez-vous vraiment ce qu’est un sondage ?

Un dictionnaire de la langue française définit le mot « sondage » comme « l’action de sonder », ou encore comme « l’exploration locale et méthodique d’un milieu à l’aide d’une sonde ou de procédés techniques particuliers ». Cela concerne notamment le sondage des fonds marins. Mais ce mot possède aussi une signification précise au sein des méthodes quantitatives permettant d’étudier nos sociétés ou de développer des analyses scientifiques ! Sonder une « population » consiste à étudier ce qui s’y passe à partir d’observations réalisées auprès d’un échantillon prélevé en son sein.

Quand on veut étudier diverses caractéristiques d’une « population », il est naturel de vouloir prendre en compte tous ses éléments. Mais de nombreuses raisons ne permettent pas souvent de le faire. On peut alors songer à réaliser un sondage.

Prenons par exemple le cas des enquêtes par sondage les plus connues que sont les sondages d’opinion. Il s’agit d’enquêtes visant à déterminer, dans une population donnée, la répartition des opinions des individus qui la composent sur une ou plusieurs questions précises, en recueillant, auprès d’un échantillon prélevé dans cette population, des réponses individuelles exprimant ces opinions. On préférerait évidemment interroger tous les individus de cette population, mais c’est pratiquement infaisable, surtout quand sa taille est grande (moyens et temps insuffisants pour le faire, inaccessibilité de certains individus…). On ne peut pas respecter le principe d’exhaustivité. Mais est-ce vraiment un mal ?

De plus, il serait erroné de croire qu’il n’existe que des sondages d’opinion ! Dans bien des situations, les éléments constitutifs de la population de référence ne sont pas des individus stricto sensu, mais plutôt des ménages, des entreprises, des exploitations agricoles, des aires géographiques, des objets, des opérations comptables… — on parle alors, de façon générale, des unités statistiques de la population. Par ailleurs, la lecture des journaux, l’écoute de la radio… prouvent facilement que des sondages peuvent être menés dans de nombreux domaines différents : la démographie, la sociologie, l’économie, l’audit, l’agronomie, l’écologie, la psychologie, les sciences de l’éducation, les sciences de la santé, le contrôle industriel de qualité, sans oublier bien sûr les études de marché et les mesures d’audience.

L’objectif de ce petit ouvrage est de répondre à quelques questions que beaucoup d’entre nous se posent. Comment fait-on pour prélever un échantillon dans une population ? Qu’est-ce qu’un « bon » échantillon ? Quelle doit être sa taille pour que ce sondage soit fiable ? Comment utiliser les données fournies par les individus de l’échantillon pour estimer les paramètres inconnus de la population qui nous intéressent ? Peut-on évaluer d’une façon ou d’une autre si les estimations obtenues sont de bonne qualité, c’est-à-dire si elles ne s’éloignent « pas trop » des valeurs exactes des paramètres inconnus que l’on tente de connaître ? Quels sont les risques d’erreurs auxquels on est confronté au cours d’une procédure de sondage ? Qu’est-ce qu’ils nous disent en réalité, ces sondages ?

Nous vous proposons de tenter de répondre simplement à ces questions. Le texte qui suit se veut accessible à tout un chacun. Nous avons dès lors volontairement réduit les informations techniques, soit en les insérant dans des parties encadrées destinées à celles et ceux qui ne reculent pas devant une certaine formalisation des concepts, soit en renvoyant à des ouvrages présentés dans la bibliographie en fin de volume. Nous avons regroupé ceux-ci en deux parties. La première contient les références que nous qualifions de RPD (références de premier degré). Nous les avons principalement utilisées pour écrire cet ouvrage (Ardilly, 2006 ; Ardilly et Lavallée, 2018 ; Droesbeke et Vermandele, 2016 et 2018 ; Vermandele, 2018). Les secondes sont plus spécifiques ou destinées à un public plus averti, comme le livre de Tillé (2001). La lecture de ces parties encadrées est donc facultative.

Nous remercions les responsables des publications de l’Académie royale de Belgique d’avoir accepté ce manuscrit. Nous le dédions à tous ceux qui ont planté des arbres d’amitié sur le chemin que nous avons suivi pour voyager dans le pays des sondages à partir de 1984 : Anne-Marie, Benoît, Bernard, Jean-Claude, Jean-Marie, Philippe et puis tous les autres qui ont suivi et dont la liste serait trop longue à citer ici.

Chapitre 1

Qu’est-ce qu’un sondage ?

1.1 Un peu d’histoire

Avant toute chose, notons que le terme sondage est assez ambigu en français. L’origine du mot remonte au xiiie siècle et se rattache au vocable nordique « sund » qui signifie « mer, détroit »1. On a commencé par sonder les fonds marins. Le xvie siècle a vu apparaître la sonde chirurgicale et l’action de celui qui cherche à pénétrer un secret (Ronsard). Le « sondeur » naît en 1690 et le « sondage » en 1769. Balzac utilisa ce terme en 1841 dans le sens figuré d’enquête ou d’investigation rapide. Popularisé depuis les années 1930 par les enquêtes d’opinion publique, le sondage s’est de plus en plus répandu dans sa conception actuelle. Les pays anglo-saxons ont suivi une voie moins ambiguë puisqu’ils distinguent le sondage maritime (sounding en anglais), le sondage géologique (boring), le sondage d’opinion (poll) et l’échantillonnage statistique (sampling).

Le mot échantillon a aussi connu des sens différents au cours du temps. Il est issu du mot eschandillon, dérivé lui-même, vers 1260, d’une forme correspondant à escandil signifiant « mesure de capacité » en ancien provençal2. Cette famille de mots vient du latin populaire scandiculum, variante d’une forme scandaculum signifiant « échelle », dans le sens de « jauge, mesure ». Le mot échantillon a donc d’abord eu le sens d’étalon (de mesures, de poids, de monnaies), acceptation aujourd’hui disparue. Par extension, le mot a pris en 1407 le sens moderne de petite quantité d’une marchandise, que l’on montre pour faire connaître la qualité de l’ensemble. C’est cette idée de partie d’un ensemble que l’on retrouve en 1579 et qui donne un aperçu de l’ensemble. Il équivaut aussi à spécimen remarquable et spécialement, en 1611, à individu représentatif (d’un groupe). Au figuré, vers 1622, il se dit pour aperçu (un échantillon de son style). Au xxe siècle le mot s’introduit (enfin !) dans le langage statistique.

L’idée de prendre une partie d’un tout pour étudier celui-ci est vieille comme le monde. Ses usages premiers sont encore d’actualité : prendre une gorgée d’eau à une source pour en connaître le goût, plonger sa main dans un sac de céréales pour en tester la texture… Voilà quelques comportements universels. Encore faut-il que certaines conditions soient remplies pour que ce soit probant. Qui n’a acheté des fraises en dégustant uniquement celle qui semblait si belle au-dessus du ravier sans examiner l’état de celles qui se trouvaient au fond ?

Recourir à des enquêtes afin de les extrapoler pour avoir une estimation de l’ensemble est apparu en Occident au xviie siècle, avec les contributions de Colbert et de Vauban. À la fin du xviiie siècle, Laplace s’est interrogé sur l’intérêt d’utiliser des échantillons en utilisant le calcul des probabilités. Mais ces tentatives ont été freinées au début du xixe siècle pour redonner du tonus aux enquêtes exhaustives (les recensements), même si ce siècle, dans sa dernière partie, a permis aux méthodes d’échantillonnage de prendre leur véritable envol.

Les votes de paille développés à l’occasion des élections présidentielles américaines dès le début du xixe siècle sont souvent cités comme les premières enquêtes dignes d’intérêt. Cependant, il est de coutume de faire remonter la naissance des méthodes actuelles de sondage à la présentation d’un mémoire intitulé Observations et expériences concernant des dénombrements représentatifs, au congrès de l’Institut international de statistique tenu à Berne en 1895. Son auteur, Anders Nicolai Kiaer, est directeur du Bureau central de Statistique du Royaume de Norvège. L’idée de recourir à l’échantillonnage se répand lentement et, en 1925, un texte fondateur du Danois Adolphe Jensen ne pose plus la question « faut-il échantillonner ou non ? » mais préfère répondre à « comment tirer l’échantillon ? ».

1.2 Partons d’un exemple

Vous êtes chargés de mener une enquête sur les montants dépensés au début de cette année scolaire par les parents des 1 245 élèves d’une école pour l’achat de leur matériel scolaire. Plusieurs questions vous sont posées : « quel est le montant total dépensé pour l’ensemble des élèves de l’école ? », « quel est le montant moyen de ces dépenses par élève ? », « quelle est la proportion d’élèves pour lesquels le montant des achats a excédé 200 € ? », etc. Si vous disposez d’un fichier contenant la liste de toutes les dépenses effectuées pour chacun des élèves, les réponses s’obtiennent par des procédures de calcul assez simples. Mais que pouvez-vous faire si ce n’est pas le cas ? Il faut interroger tous les parents, mais cela a un coût et peut prendre du temps. Vous décidez de recourir à une enquête par sondage. Comment devez-vous procéder ? Décortiquons brièvement mais soigneusement la situation…

L’ensemble des 1 245 élèves inscrits dans l’école en question correspond à une population. Vous vous intéressez au « montant dépensé en début d’année scolaire pour l’achat des fournitures scolaires ». Ce montant varie d’un élève à l’autre : il correspond à une variable d’intérêt. L’ensemble de toutes ses valeurs et la façon dont elles se répartissent au sein de la population constituent la distribution (des valeurs) de la variable.

Les questions posées concernent différentes valeurs typiques ou synthétiques de la distribution de cette variable dans la population. Par exemple :

— le total de votre variable d’intérêt dans la population, c’est-à-dire la somme des montants dépensés pour tous les élèves de l’école ;

— sa moyenne dans la population, c’est-à-dire la moyenne des montants dépensés pour tous les élèves de l’école ;

— la proportion d’élèves de l’école pour lesquels le montant dépensé dépasse 200 €.

Ces trois quantités sont appelées des paramètres, ou encore des paramètres-population. Elles sont inconnues si vous ne pouvez pas disposer des informations relatives à la variable d’intérêt de façon exhaustive.

Pour réaliser une enquête par sondage, vous devez sélectionner un échantillon, par exemple d’une centaine d’élèves inscrits dans l’école, interroger ces élèves ou leurs parents sur les montants dépensés en début d’année pour l’achat des fournitures scolaires, et utiliser enfin les montants observés dans l’échantillon pour obtenir une estimation des trois paramètres de la population qui vous intéressent.

Certains d’entre vous penseront au montant moyen des dépenses déclarées pour les élèves de l’échantillon pour estimer le montant moyen des dépenses pour l’ensemble des élèves de l’école. De même, la proportion des élèves de l’échantillon pour lesquels plus de 200 € ont été dépensés peut fournir une estimation de la proportion équivalente parmi l’ensemble des élèves de l’école. Comment savoir si cette démarche est raisonnable et ce qu’elle peut vous « dire » ?

1.3 Les étapes d’une enquête par sondage

Réaliser une enquête par sondage ne s’improvise pas. Il faut planifier son déroulement avec soin et faire des choix de stratégies en tenant compte des moyens (techniques, humains, budgétaires…) dont on dispose.

La démarche à suivre comporte cinq étapes interdépendantes (voir la figure 1.1), dont l’importance et la complexité varient d’une enquête à l’autre, selon la nature de la population-cible et de la problématique abordée.

Étape 1 : la conception générale de l’enquête

Il faut d’abord énoncer les objectifs de l’enquête et spécifier les moyens techniques, humains, financiers… disponibles pour mener le projet à bien. Cette première étape doit permettre de définir avec soin la population-cible à sonder, préciser les données à recueillir dans l’enquête, et choisir les variables d’intérêt et les paramètres à estimer.

Il est toujours utile de chercher l’information disponible sur le problème considéré et la population visée, via une recherche documentaire, la consultation d’experts et d’acteurs dans le domaine, ou encore l’analyse d’études similaires. Cette information peut...