Extrait gratuit du premier chapitre.

À Véronique et toute notre tribu,
merveilleux « échantillon représentatif ».

Préambule

Dans notre métier des études marketing et d’opinion, tout commence par des questions : les questions que nos clients se posent, les questions qu’ils nous posent et que nous leur posons, les questions que nous posons à « nos » interviewés. Il arrive aussi que tout finisse par des questions, puisqu’une démarche scientifique est souvent constituée d’une suite de questions et d’éléments de réponse. Dans la démarche d’étude, la question, le questionnaire, occupe une place centrale. Il est d’autant plus frappant de constater que c’est un sujet relativement peu abordé dans les publications scientifiques : il existe quantité d’ouvrages statistiques sur les méthodes d’échantillonnage ou sur les techniques de traitement de données. En revanche, sur le questionnaire, seul The art of asking questions, édité en 1951 (!) par Stanley L. Payne de la Princeton University, vient vraiment à l’esprit. De même dans les débats sur les résultats d’enquêtes, les discussions portent bien plus sur les questions d’échantillonnage (l’échantillon est-il suffisant, est-il représentatif ?) ou sur les marges d’incertitude ou encore les méthodes de redressement, que sur la formulation des questions. Or, les conséquences des tailles d’échantillon ou d’écarts de représentativité entraînent des écarts de quelques pourcents sur les résultats (passer d’un échantillon de 750 individus à 1 000, conduit à réduire la marge d’incertitude d’un résultats de 50 % de ± 3,6 % à ± 3,1 %), alors que tout praticien des études sait que de changer quelques mots dans une question ou les modalités de réponses, changer par exemple un verbe au conditionnel par un futur, peut entraîner des variations de 10, 15, 20 % dans les résultats.

Cela tient sans doute au fait que l’échantillonnage ou le traitement de données relèvent de techniques, même si un savoir-faire est également requis. Pour le questionnaire, c’est pratiquement l’inverse, il s’agit d’abord et avant tout d’un savoir-faire, fruit de l’expérience, des nombreuses expériences, essais et erreurs de chacun. En d’autres termes, la statistique s’apprend, la technique du questionnaire s’acquiert, même si pour les deux il vaut mieux, pour bien faire, avoir quelques prédispositions. D’où aussi la référence à l’art, de S. Payne.

L’idée de ce livre est de développer une méthode, donc un ensemble de principes, de règles, et d’introduire une part de techniques, relevant de la pratique, dans l’élaboration des questionnaires, justement pour éviter si ce n’est les essais, du moins les erreurs. Il s’agit donc moins d’apprendre à faire un questionnaire, qu’à aider ceux qui élaborent des questionnaires à le faire selon les règles de l’art.

Pour ce faire, nous verrons d’abord quelle est la place du questionnaire dans la démarche d’étude, quel est son rôle, puis aborderons successivement les règles et les techniques.

Ce livre est très fortement orienté vers les études quantitatives. Néanmoins, beaucoup de ce qui est dit peut s’appliquer aussi, avec certaines transpositions, aux études qualitatives et notamment à l’élaboration de guides d’entretiens (semi)directifs.

Notons enfin que sous certains aspects, l’élaboration d’un questionnaire n’est pas totalement indépendante du mode de recueil utilisé pour l’administration de ce questionnaire. Une même question, visant à recueillir la même information, ne sera pas forcément libellée exactement de la même façon, selon que l’interview est conduite par un enquêteur, en face à face, par téléphone, en auto-administré, en « papier-crayon », par Internet, sur smartphone ou sur tablette. Nous en tiendrons compte en abordant les aspects techniques de l’élaboration du questionnaire.

Chapitre 1

Le rôle du questionnaire et sa place dans la démarche d’étude

Executive summary

►► L’élaboration d’un questionnaire n’est pas un acte isolé, il ne s’agit pas « juste » d’aligner des questions en lien avec la problématique d’étude.

►► Le questionnaire s’inscrit dans une démarche plus large, la démarche d’étude. En amont, il s’agit de bien définir les objectifs stratégiques (quelles décisions veut-on prendre ?), puis les objectifs d’étude (qu’est-ce que l’on cherche à comprendre, à mesurer ?).

►► En aval, il s’agit dès l’élaboration du questionnaire d’imaginer les résultats qui seront obtenus à partir des questions qui vont être posées et de l’échantillon interrogé, pour s’assurer que ces résultats correspondent bien aux objectifs.

L’une des raisons qui m’ont conduit à rédiger cet ouvrage, est de voir tant de questionnaires élaborés par des gens qui ne sont pas des professionnels des études, mais pensent qu’ils sont bien capables de rédiger quelques questions et de les mettre en ligne pour « faire une enquête ». Quoi de plus naturel en effet que de poser des questions. Et c’est ainsi que l’on trouve toujours plus de « sondages » faits en toute bonne foi et en dépit du bon sens ou en tout cas sans le professionnalisme nécessaire. En un sens, on pourrait dire que cela n’a pas tellement d’importance. Mais le problème est que des décisions sont parfois prises sur la base de résultats de tels sondages amateurs. Ceux-ci présentent deux types de faiblesses : des faiblesses de formulation et des faiblesses de conception.

• Une faiblesse de formulation est par exemple l’utilisation d’une forme interrogative négative, du type Ne pensez-vous pas qu’il faille autoriser la vente libre du cannabis ? : que l’interviewé réponde « oui » ou « non », on ne sait pas ce qu’il a voulu dire.

• Une faiblesse de conception est par exemple de poser la question suivante, en cherchant à mesurer le degré de mobilité des individus, c’est à dire leur fréquence et leurs distances de déplacements : Êtes-vous très, assez, assez peu ou pas du tout mobile ? La formulation peut faire sourire, mais les exemples pullulent de telles questions qui sont des transpositions directes du problème que le concepteur de la question se pose, mais qui ne sont pas la question qu’il faut poser.

Le problème est que bien souvent, les interviewés se sentent plus ou moins obligés de répondre, et donc répondent, et que des décisions sont prises sur la base de résultats qui mesurent autre chose que ce que l’on voulait mesurer, autre chose que ce que l’on pense avoir mesuré.

Ces faiblesses de conception relèvent souvent d’une incompréhension de la place du questionnaire dans la démarche d’étude.

La démarche d’étude

Pour situer le questionnaire dans la démarche d’étude, il est nécessaire de définir cette dernière. L’étude est un dispositif qui vise à apporter des réponses à une ou des questions auxquelles est confronté un client, entreprise ou autre organisme. Ce dispositif vise à donner une représentation de la réalité que l’on cherche à comprendre, en termes de population étudiée et de problématique. L’on emploie parfois l’image de la photo pour se représenter une étude, voire du film lorsqu’il s’agit d’études répétitives ou barométriques. Je préfère celle de modèle réduit ou de maquette. Elle s’applique évidemment bien à l’échantillonnage : en constituant un échantillon de 1 000 personnes parmi les 48,4 millions de personnes de 18 ans et plus vivant en France métropolitaine, l’on obtient un modèle au 1/48 400e. La méthode de constitution de l’échantillon, tirage aléatoire ou méthode des quotas, vise à garantir la représentativité, donc la justesse des proportions de la maquette. Le questionnaire quant à lui vise à obtenir une image fidèle bien que réduite ou partielle, donc des résultats valides. Le constructeur de maquette va faire des choix, représenter avec plus ou moins de réalisme la carrosserie, l’intérieur ou le moteur de la voiture qu’il veut réduire. De la même façon, le rédacteur du questionnaire va faire des choix. De même qu’un échantillon constitue une sélection de la population, le questionnaire sera une sélection de la réalité des personnes auxquels ce questionnaire sera administré.

En d’autres termes, comme un modèle réduit ou une carte ou un modèle mathématique, une étude ne vise pas à fournir une vision complète de la réalité, ni en termes de finesse des sous-catégories de la population qu’elle cherche à représenter, ni de toutes les composantes, motivations, attitudes, comportements, qui concernent la problématique étudiée. Des choix seront faits, en matière d’échantillon comme de questionnaire, visant, pour un budget donné, à obtenir une information nécessaire et suffisante pour répondre aux objectifs assignés à l’étude.

Chaque élément de la méthode employée contribuera à la réalisation de ces objectifs (cf. figure 1.1 ci-dessous).

Figure 1.1 – Contribution des éléments de méthode à la réalisation des objectifs d’étude

Avis d’expert

Représentativité, précision et validité

La représentativité et la précision des résultats d’étude dépendent de la nature (pour la représentativité) et de la taille (pour la précision) de l’échantillon. La validité quant à elle désigne le fait que ce qui est mesuré correspond à ce que l’on veut mesurer et dépend en premier lieu du questionnaire. Pour caricaturer, la réponse à la question « Êtes-vous raciste ? » mesure moins le fait d’être ou pas raciste, que le fait d’« oser » dire qu’on l’est. C’est donc une question valide pour mesurer le fait de se déclarer « ouvertement » raciste, pas pour mesurer le racisme lui-même. Au-delà de cette caricature, la question se pose par exemple de savoir si les réponses à une question d’intention d’achat mesurent vraiment les achats futurs ou pas, si une réponse à une question d’intention de vote traduit réellement le vote que l’interviewé a l’intention de faire et a fortiori celui qu’il fera.

En ce qui concerne plus précisément le questionnaire, les choix à faire seront souvent basés sur un compromis entre étendue et profondeur : le temps que les interviewés peuvent ou veulent consacrer à répondre aux enquêtes étant limité, l’on ne pourra pas en même temps aborder de très nombreux aspects de la problématique et poser beaucoup de questions sur chaque aspect. Dans certaines études, on choisira ainsi d’approfondir beaucoup les attitudes, dans d’autres les comportements, dans d’autres les intentions, ou les opinions.

Qu’est-ce qu’un questionnaire ?

Il est utile de faire une distinction entre le questionnaire – un objet papier ou un programme informatique – et l’élaboration d’un questionnaire, le travail qui conduit à sa fabrication. Élaborer un questionnaire consiste à formuler un ensemble de questions et de modalités de réponses et à les ordonner de telle façon que les réponses fournies permettent, après analyse des données, d’apporter un éclairage pertinent sur la problématique d’étude. En ce sens, le questionnaire s’inscrit dans un cycle, qui est la démarche d’étude, telle qu’elle apparaît en figure 1.2 page suivante.

Figure 1.2 – La place du questionnaire dans la démarche d’étude

La place du questionnaire dans la démarche d’étude

Cette place du questionnaire correspond aussi à une certaine conception de notre métier des études marketing et d’opinion : les études sont une interface entre des organismes – entreprises ou autres – qui sont confrontés à une prise de décision et des publics qui sont concernés par cette décision.

Ainsi, une entreprise peut vouloir augmenter la qualité du service qu’elle fournit à ses clients, qui sont par exemple des particuliers et des professionnels, ou un gouvernement peut vouloir réorienter sa politique fiscale. Pour cela l’entreprise veut pouvoir définir des axes de travail pour l’année qui vient. L’étude (de satisfaction clientèle et de relation clients) va constituer une interface entre cette entreprise et ses clients. En effet, l’entreprise ne peut pas demander « comme ça » à ses clients quels doivent être ses axes de travail pour l’année qui vient et ce n’est pas non plus la question que l’on va poser dans l’étude. En effet, si nous suivons les étapes du schéma de la page précédente, il s’agit d’abord de transformer cette problématique client, qui peut être formulé en objectifs stratégiques (« quels axes de travail pour l’année prochaine ? ») en objectifs et problématique d’étude (est-ce que les clients sont satisfaits, quelle est leur perception de la qualité de service, de quoi sont-ils satisfaits ou insatisfaits, comment et dans quelle mesure cela rejaillit-il sur leur satisfaction globale, sur leur propension à la fidélité ou infidélité ?). Ensuite, ces objectifs et cette problématique d’étude vont être intégrés dans l’élaboration d’un questionnaire, donc dans la formulation de questions et l’organisation de ces questions entre elles.

Il est essentiel de bien faire la distinction entre ces trois étapes : les questions que le client se pose, les questions d’étude que cela pose et les questions qui vont être posées aux interviewés. Et c’est bien parce que cette distinction n’est pas faite par les sondeurs amateurs, que leurs études n’en sont pas.

La transformation de la problématique client en objectifs et problématique d’étude dépasse un peu le cadre de notre réflexion sur le questionnaire.

De même que nous disions que les Études constituent une interface entre les entreprises (ou autres Clients) et leurs marchés ou publics, de même le questionnaire constitue une interface entre les objectifs et la problématique d’étude et les interviewés, leurs comportements, attitudes, opinions, intentions. C’est en ce sens que le questionnaire est au centre de l’étude (cf. figure 1.2).

Ce rôle central du questionnaire est également démontré par le nombre de personnes qui sont amenées à en prendre connaissance, à l’utiliser :

– le commanditaire de l’étude, qui doit retrouver sa problématique, alors même que les questions figurant dans le questionnaire ne seront pas forcément celles que lui se pose ;

– l’enquêteur, qui doit pouvoir passer le questionnaire dans de bonnes conditions ;

– l’enquêté, qui doit pouvoir y répondre sans difficultés ;

– les personnes assurant le contrôle, la codification, le traitement des données, dont le travail doit être facilité ;

– le chargé d’études lui-même, qui doit assurer la cohérence entre les attentes de tous ces interlocuteurs.

Dans l’élaboration d’un questionnaire, les éléments suivants sont à prendre en compte :

• L’organisation du questionnaire :

– le plan ;

– l’ordre entre les parties ;

– l’ordre entre les questions.

• La formulation des questions :

– les types de questions ;

– les différentes échelles de réponses.

• La durée d’interview.

• La mise en forme :

– les consignes ;

– le guidage ;

– le mode de recueil.

Ce sont tous ces aspects que nous allons aborder dans la suite de l’ouvrage, en sachant qu’il y a parfois des liens entre ces aspects. Ainsi, la formulation des questions n’est pas indépendante du mode de recueil.

Avis d’expert

Un peu d’histoire

Il n’est pas forcément simple de dire à quand remonte le premier questionnaire et qui l’a « inventé ». Socrate (470 ou 469 av. J.-C., 399 av. J.-C.), qui confessait son ignorance, avait instauré la méthode des questions – réponses comme moyen de faire avancer la connaissance, sans d’ailleurs laisser le moindre écrit. Toute connaissance provient d’une connaissance préalable, ainsi, la pensée émerge à partir des questions posées. Poser une question doit conduire à poser d’autres questions. En ce sens, Socrate est précurseur des études, au moins qualitatives. Le mot questionnaire existait en latin (quaestionarius), au sens d’une série de questions auxquelles il faut répondre. Dans l’armée romaine, le terme désignait aussi la fonction de celui qui questionne, de façon « musclée ». Cette association à la torture se retrouve dans l’expression « soumettre à la question », dont l’Inquisition était adepte, mais malheureusement pas seulement elle. Alain Rey, dans son Dictionnaire historique de la langue française, précise que le mot « questionnaire » est attesté en français dès 1533. On peut penser que des formes de questionnaires ont été utilisées pour effectuer des recensements, notamment à l’époque romaine, les Romains étant de grands compteurs de population, pour des raisons en partie fiscales. On pense bien entendu au recensement sous Hérode, qui amena Marie et Joseph à Bethléem.

L’invention du questionnaire visant à répondre de façon organisée à des objectifs d’étude est attribuée, par les Britanniques, à Sir Francis Galton (1822 – 1911). Cousin de Charles Darwin, il exerça quantité d’activités dans les domaines de l’anthropologie, la géographie, la météorologie, les statistiques, publiant 340 livres et articles. On lui doit l’invention des cartes météorologiques, d’une méthode de classification des empreintes digitales, de la droite de régression, de l’écart type et quantité d’autres outils statistiques. Galton a beaucoup travaillé, en partie sans doute en réaction aux travaux de son cousin Darwin, aux questions d’inné et d’acquis. Il fut le premier à appliquer des méthodes statistiques à l’étude des différences entre humains et au caractère héréditaire de l’intelligence et introduisit l’utilisation de questionnaires et enquêtes pour recueillir des données sur les communautés humaines, dont il avait besoin pour des travaux généalogiques et biographiques et pour ses études anthropométriques, les résultats de ces études étant publiés dans un livre, English men of scienc: their nature and nurture en 1874. Il fut un pionnier de l’eugénisme, inventant le terme, et son livre Hereditary Genius (1869) a été la première tentative en sciences sociales pour étudier le génie et la grandeur, développant des idées qui aujourd’hui pourraient paraître discutables.

Exemple

Le questionnaire de Proust est un questionnaire devenu célèbre par les réponses qu’y a apportées Marcel Proust. Ce dernier découvre ce test à la fin du XIXe siècle, alors qu’il est encore adolescent. Ce jeu anglais datant des années 1860 était nommé Confessions. À cette époque, ce genre de jeu est en vogue. La mode en vient d’Angleterre : les questionnés peuvent y dévoiler leurs goûts et leurs aspirations. Pour l’anecdote, le manuscrit original des réponses de Proust datant de 1890 a été retrouvé en 1924 et vendu aux enchères en 2003 pour 102 000 €. Cette histoire tendrait à montrer que le questionnaire a aussi une origine ludique, s’apparentant aux devinettes, qui prennent somme toute la forme de questions

Le questionnaire de Proust

Ma vertu préférée.

La qualité que je préfère chez un homme.

Ce que j’apprécie le plus chez mes amis.

Mon principal défaut.

Mon occupation préférée.

Mon rêve de bonheur.

Mon plus grand malheur.

Ce que je voudrais être.

Le pays où je désirerais vivre.

La couleur que je préfère.

La fleur que j’aime.

L’oiseau que je préfère.

Mes auteurs favoris en prose.

Mes poètes préférés.

Mes héros dans la fiction.

Mes héroïnes favorites dans la fiction.

Mes compositeurs préférés.

Mes peintres favoris.

Mes héros dans la vie réelle.

Mes héroïnes dans l’histoire.

Mes noms favoris.

Ce que je déteste par-dessus tout.

Les personnages historiques que je méprise le plus.

Le fait militaire que j’admire le plus.

La réforme que j’estime le plus.

Le don de la nature que je voudrais avoir.

Comment j’aimerais mourir.

Mon état d’esprit actuel.

Les fautes qui m’inspirent le plus d’indulgence.

Ma devise..

L’essentiel

►► Commencez par définir précisément les objectifs et la problématique d’étude : Que cherche-t-on à comprendre, à mesurer ? Auprès de qui ? Comment, avec quelle méthode de recueil, avec quelles méthodes d’analyse ?

►► Interrogez-vous sur les résultats qui seront nécessaires pour répondre à ces objectifs, en termes de données (contenu, taille d’échantillon).

►► Le questionnaire découlera de cette réflexion sur les objectifs et les résultats attendus, alors que trop souvent, l’on aura tendance à commencer à aligner des questions, ce qui ne fait pas un bon questionnaire.