Évaluer la bibliothèque par les mesures d’impacts

Cécile Touitou (dir.)

DOI : 10.4000/books.pressesenssib.5355

Éditeur : Presses de l’enssib

Lieu d'édition : Villeurbanne

Année d'édition : 2016

Date de mise en ligne : 13 mars 2019

Collection : La Boîte à outils

ISBN électronique : 9782375460917

http://books.openedition.org

Édition imprimée

Date de publication : 1 janvier 2016

ISBN : 9791091281768

Nombre de pages : 184

Référence électronique

TOUITOU, Cécile (dir.). Évaluer la bibliothèque par les mesures d’impacts. Nouvelle édition [en ligne]. Villeurbanne : Presses de l’enssib, 2016 (généré le 18 septembre 2020). Disponible sur Internet : <http://books.openedition.org/pressesenssib/5355>. ISBN : 9782375460917. DOI : https://doi.org/10.4000/books.pressesenssib.5355.

Ce document a été généré automatiquement le 18 septembre 2020.

© Presses de l’enssib, 2016

Conditions d’utilisation :
http://www.openedition.org/6540

Faut-il compter les livres que l’on prête ou bien faut-il interroger les lecteurs sur ce qu’ils ont retenu de leur lecture ? Comment évaluer la performance de sa bibliothèque et comment mesurer son impact sur le public qu’elle dessert ? Cerner l’impact de son établissement, dessiner la cartographie de sa zone de chalandise, mesurer les effets induits par l’offre de services ‒ présentiels ou virtuels ‒ sur ses différents publics, calculer la satisfaction et tester, à toutes les étapes d’un projet, l’expérience de l’usager sont parmi les sujets abordés dans cet ouvrage.

Cécile Touitou

Responsable de la mission Marketing, Bibliothèque de Sciences Po Paris

Sommaire

Mode d’emploi

Cécile Touitou

Évolution des politiques d’évaluation

Organisation du livre

Partie I. Contexte

Mesures en bibliothèque : panorama et évolution

Nadine Delcarmine

La mesure en bibliothèque : un usage inscrit dans leur histoire

La normalisation pour les bibliothèques : 1974-2016

Libres réflexions au sujet des méthodes et des enjeux de l’impact économique et sociétal des bibliothèques

Françoise Benhamou

Des activités économiques diversifiées

Les deux approches complémentaires

Établir le retour sur investissement : deux cas concrets

Une analyse critique et quelques perspectives : l’exemple des BU du Royaume-Uni

Partie II - Méthodes et outils

Construire un tableau de bord pour la bibliothèque ?

Marc Maissonneuve

De l’ESGBU et du rapport SLL au tableau de bord urbain

La contribution des bibliothèques à une meilleure gouvernance

Le périmètre du tableau de bord urbain

Évaluer l'impact de sa bibliothèque sur le territoire : mesurer la zone de chalandise ou de rayonnement de sa bibliothèque

Emmanuelle Asselin

Qu’est-ce qu’une zone de chalandise ou de rayonnement ?

Quels indicateurs retenir pour évaluer la zone de chalandise de sa bibliothèque ?

Mesurer la valeur sociétale de la bibliothèque publique : définitions, critères et méthodes

Frank Huysmans et Marjolein Oomes

Des intrants et extrants aux outcomes

Impact, valeur, outcome : effort de clarification terminologique

Mesurer la valeur sociétale des bibliothèques publiques

Arrêter, commencer, continuer : évaluer pour décider

Nathalie Clot

Savoir pour décider : maîtrise ou illusion ?

Less is more : quand se libérer de l’indicateur type permet de changer le service

Plaidoyer pour une démarche de design orienté utilisateur (Design UX)

Évaluer et inspirer les territoires de demain

Marie-Christine Jacquinet

Du diagnostic de la lecture à une logique de territoire

Le pilotage au cœur d’interactions prospectives

Mesurer la fréquentation de 121 établissements : l'exemple de la bibliothèque départementale du Val d’Oise

Cécile Avallone

Compter quoi et comment ?

Quels résultats pour le Val d’Oise ?

Partie III – Pilotage

Évaluer les formations à la maîtrise de l’information à l’université : conditions, enjeux et perspectives

Hélène Coste

Les trois étapes de l’évaluation

Le service public posté en bibliothèque : comment mesurer l’efficacité d’un service ordinaire et discret ? L’expérimentation de la méthode américaine READ à la Bpi

Muriel Amar et Guilaine Thuillart

Paroles des usagers, paroles des bibliothécaires : que choisir ?

Mise en œuvre et discussion

Évaluer les attentes et perceptions : l’outil LibQUAL +®, ses avantages et ses limites

Frédéric Brodkom

L’enquête LibQUAL

Mesurer les effets de son action

L’intérêt d’utiliser LibQUAL

Les limites à l’usage de LibQUAL

Évaluer la consultation sur place et l’usage des espaces : le cas de la bibliothèque de Sciences Po Paris

Cécile Touitou

Passer de la mesure des collections aux usages des publics

Qui sont les usagers et que font-ils ? : deux enquêtes

Mais s’ils lisent, consultent, feuillètent, que regardent-ils exactement ?

Le tri par cartes pour améliorer l’arborescence du site web de la bibliothèque de Sciences Po Paris

Joris Paillaré

Assigner un objectif à chaque tri

Préparation

Analyse et résultats

Évaluer l’usage des ressources numériques : quels enjeux, quelles solutions ?

Thomas Jouneau et Thomas Porquet

Pourquoi et comment travailler avec ezPAARSE ?

L’exploitation du logiciel : le cas de l’UL

Perspectives

Évaluer l’utilisabilité des sites web

Nicolas Alarcon

Les tests d’utilisabilité

Créer un test d’utilisabilité

Ni panacée, ni conclusion

Mémento

Cécile Touitou

Glossaire

Bibliographie

Liste des illustrations

Liste des auteurs

Mode d’emploi

Cécile Touitou

Évolution des politiques d’évaluation

Il n’y a pas si longtemps, les bibliothèques, à l’image d’une société relativement cloisonnée, vivaient en vase clos, ignorant les spécificités du public qu’elles desservaient, faisant la sourde oreille à leurs attentes, méconnaissant le territoire où elles étaient implantées, indifférentes aux acteurs associatifs qui œuvraient à quelques rues d’elles ; n’entretenant finalement qu’une relation verticale avec l’échelon administratif supérieur1 dont elles dépendaient : la collectivité territoriale, l’université ; ou avec leur ministère de rattachement (Culture ou Enseignement supérieur). C’était l’époque de la politique de l’offre, où la demande, dans les établissements culturels, était considérée – au mieux – avec circonspection.

Avant 1990 : l’évaluation biblio-centrée

De cette époque (re)constituée en repoussoir, l’évaluation retiendra les rapports statistiques demandés chaque année par les administrations centrales aux établissements de lecture publique et aux bibliothèques universitaires sur la base d’indicateurs*2 normalisés, sans reflet ni des missions propres des établissements, ni des besoins spécifiques de ses usagers. Ces documents perdurent. Ils interrogent les bibliothèques sur leur activité : la composition du personnel ; les budgets ; les volumes de prêts, de collection, des ressources électroniques, de places et de chaises ; ainsi que le nombre des inscrits actifs. Ils ont le mérite de soumettre aux mêmes indicateurs l’ensemble des établissements qui peuvent ainsi se comparer aux établissements identiques et disposer de séries chronologiques.

Les années 2000 : le public s’impose

Les bibliothèques ont ensuite été ébranlées par des évolutions majeures qui depuis une vingtaine d’années secouent les sociétés occidentales… Arrivée de l’Internet qui met l’information à disposition de tous (ou presque), bouleversement du statut de l’auteur, prégnance grandissante des communautés qui commentent, promeuvent et partagent. Pour les bibliothèques, c’est l’évolution des outils qui devait permettre aux usagers d’entrer au cœur du dispositif. Ainsi, dans le milieu des années 2000, les catalogues ont ouvert leurs notices aux commentaires ; on a rêvé un moment que les lecteurs proposeraient des tags développant une indexation en langage naturel générant des nuages de mots qui auraient favorisé une navigation intuitive3.

Les années 2010 : les bibliothèques dans un monde concurrentiel

Au cœur de cette évolution, la montée en puissance de l’information dématérialisée disponible immédiatement sur le Web, la portabilité des outils de consultation, l’évolution rapide des pratiques ont fait basculer les bibliothèques dans un monde concurrentiel, allant jusqu’à mettre en péril leur existence. Pour certains financeurs, dans un contexte de réduction massive des budgets, qu’est-ce qui justifie encore de dépenser pour des établissements de lecture publique ? Pourquoi ne remplacerait-on pas les bibliothèques universitaires par des salles de travail équipées d’ordinateurs et de wi-fi, de tables et de chaises ? Plus besoin de documentation puisque « tout est sur Internet ! »  Plus besoin de livres puisqu’« ils ne lisent plus ! ». On le voit, les bibliothèques sont contestées dans leur existence-même4.

Ces considérations ne sont pas si éloignées des questions d’évaluation auxquelles est consacré ce volume de la collection la Boîte à outils. Parallèlement à ces mutations sociétales, dans un contexte de réduction des budgets publics, on a assisté à l’avènement des politiques d’évaluation. En France, la loi organique relative aux lois de finances (LOLF) promulguée en 2001 s'applique à toute l'administration depuis 2006. Elle impose aux gestionnaires de rendre des comptes sur l’efficacité de l’utilisation des crédits qui leur sont attribués. Pour rendre compte, il convient de mesurer. Cette pratique – devenue bientôt culture ? – oblige à réfléchir à son rôle et à ses missions.

Fini le temps (s’il a jamais existé) où la bibliothèque fonctionnait hors sol en se demandant combien d’ouvrages avaient quitté les rayonnages (pour être lus ? Personne ne pouvait le garantir). Aujourd’hui, certains prétendent qu’il convient de demander à l’usager quel profit il a tiré de cet emprunt… Cette lecture l’a-t-elle transformé ?

La mesure d’impact et la satisfaction des usagers

Effectivement, bousculés par les mutations qui se sont produites dans un paysage de plus en plus concurrentiel, il est devenu difficile pour les personnels des bibliothèques de se contenter d’évaluer l’activité des services sans vérifier la satisfaction* qu'en tirent les usagers et en mesurer l'impact auprès d'eux. La bibliothèque, comme l’ensemble des services marchands et publics, a peu à peu mis le public et l’usager au cœur de son activité en tentant de déployer une offre de services adaptée à ses besoins qui vise à combler sa satisfaction.

Organisation du livre

Méthodologie de l’évaluation de l’impact

Cette démarche vertueuse trouve son écho dans l’évolution des normes successives présentées en tête de cet ouvrage par Nadine Delcarmine. Les recommandations de l’Afnor en matière d’évaluation ont d’abord traité de la mesure de l’activité, de sa performance pour en venir tout récemment (2014) à son impact.

La grande nouveauté de la norme ISO 16439 est de souligner l’importance d’une évaluation en relation avec les missions et les besoins des usagers. Françoise Benhamou revient sur « l’appétit soudain pour l’économie qui traverse les mondes de la culture ». Après avoir détaillé les principes des études d’impact économique et l’évaluation du retour sur investissement au travers de quelques exemples étrangers récents, elle s’interroge sur leur validité et met en garde contre « la propension à l’économisme ».

Marc Maisonneuve développe les outils pour construire ce tableau de bord urbain où les indicateurs de la bibliothèque reflètent ses missions en lien avec le droit à la culture, le droit à l’information et le droit à la formation, et sont pensés en fonction des objectifs globaux du territoire à desservir. Emmanuelle Asselin explique la notion de territoire qui est le terreau nourricier dans lequel la bibliothèque va puiser sa raison d’être. Elle nous dit comment évaluer la zone de chalandise* ou de rayonnement de l’établissement en tirant parti de toutes les informations que met l’Insee à disposition de tous.

Mise en œuvre d’une démarche d’évaluation orientée usager

Frank Huysmans et Marjolein Oomes évoquent en détail la notion d’outcome* qui précise celle de l’impact en la reliant aux missions propres à chaque bibliothèque. Des études menées aux Pays-Bas leur ont permis de définir une véritable typologie des impacts. Les missions n‘étant pas les mêmes d’un établissement à l’autre, il convient de retenir des indicateurs qui seront des outils d’aide à la décision dans une appréhension territoriale de l’offre de services.

Nathalie Clot expose comment la démarche utilisateur* (UX : user experience) permet de donner un sens à son activité et de « concevoir une bibliothèque attentive à ses utilisateurs ». La réflexion sur les missions, l’expression des besoins par les usagers, l’observation des usages, la mesure de la satisfaction : quatre étapes de la réflexion et de l’analyse qui viendront ainsi nourrir une démarche d’évaluation qui mène à l’action et permet des boucles de rétro-action vertueuses pour un véritable pilotage par objectifs qui se nourrit de l’expérience usager.

Marie-Christine Jacquinet montre comment le département des Yvelines pense « la performance de la lecture publique […] adossée à une démarche de développement territorial ». La bibliothèque s’insère dans le tissu des acteurs locaux et co-participe à une offre de services résolument tournée vers les besoins des usagers.

Des outils pour l’évaluation des usages

La troisième partie de l’ouvrage dépeint des cas concrets qui illustrent la nécessité de penser la bibliothèque comme outil de transformation des usagers : accès à la connaissance, accès aux ressources imprimées ou à distance, formation tout au long de la vie, formation aux compétences informationnelles… Proposer une offre de services en adéquation avec les besoins des utilisateurs, c’est ce que met en œuvre la méthodologie Libqual+ présentée par notre collègue de l’université de Louvain, Frédéric Brodkom. Cette enquête internationale mesure les attentes, le désiré et le perçu d'une trentaine de services de la bibliothèque ; elle permet la comparaison dans le temps, et avec les autres établissements. Puis Hélène Coste explicite les expériences d’évaluation de la formation en milieu universitaire et combien il serait souhaitable de pouvoir mesurer le bénéfice que tirent les étudiants des formations qu’ils reçoivent. Muriel Amar et Guilaine Thuillart mettent en avant une étude d’évaluation des interactions en service public, à la Bibliothèque publique d’information (Bpi), permettant au bibliothécaire de coder l’effort et l’expertise mobilisés pour répondre aux usagers. Cécile Touitou montre comment la bibliothèque de Sciences Po Paris déploie une gamme complète d’études permettant de cerner les usages des espaces et de la documentation. Thomas Jouneau et Thomas Porquet présentent la question stratégique de la mesure des accès aux ressources numériques, longtemps restés une boîte noire, mais qui peuvent désormais être analysés finement en segmentant publics et usages. Enfin, Nicolas Alarcon clôture cette partie en présentant l’importance de l’évaluation de l’utilisabilité des sites web, illustrant parfaitement le propos qui sous-tend l’ensemble de l’ouvrage : proposer des services qui servent à l’usager et dont l’usage est conçu pour lui et validé par lui-même !

Un processus d'amélioration continue

À leur façon, chacune de ces contributions illustre une recommandation intéressante faite dans la norme sur les mesures d’impacts (ISO 16439) incitant les bibliothécaires à croiser les méthodologies d’enquête et à combiner les données induites* des chiffres collectés automatiquement (les entrées, les prêts, les consultations des ressources électroniques), avec des données sollicitées* (sur la satisfaction, par exemple), et des données observées*. Ce faisceau de mesures permet d’appréhender l’impact sociétal des bibliothèques qui, pour reprendre le titre de la dernière campagne de l’American Library Association (ALA)5, « transforment la vie » des citoyens et des quartiers – qu’ils en soient, ou non, usagers directs – où elles sont implantées.

Cette Boîte à outils contribuera, je l’espère, à fournir des pistes concrètes pour permettre à chaque établissement, à la mesure de ses moyens, de mieux connaître ses publics et de cerner ses besoins ; d’évaluer la présence de la bibliothèque et son action sur son territoire de rayonnement ; de déployer une offre de services en adéquation avec les attentes et nourrie de l’observation des usages. Aller au bout de la démarche consistera à interroger l’usager, sa satisfaction, mais aussi les gains en matière de compétences informationnelles, ou la réussite dans ses études ou sa recherche d’emploi. Toute la difficulté sera d’isoler l’impact de la bibliothèque* parmi un nombre important de facteurs. Il ne faudra pas ignorer cette difficulté. Cependant, s’attacher à mener dans la durée une démarche vertueuse d’évaluation partant de l’expression des besoins et de l’observation des usages en amont, et intégrant la mesure de l’activité et celle de l’impact, permettra de dégager de puissants outils d’aide à la décision. Car, ces mesures n’auront de sens que si, finalement, elles permettent de passer à l’action !

Notes

1 Lire sur le sujet, Dominique Lahary, « À bas les tutelles ! », DLog, 8 juin 2011. [En ligne] : < https://lahary.wordpress.com/2011/06/08/a-bas-les-tutelles/ >.

2 Les termes suivis d’un astérisque (à leur première occurrence) sont définis dans le glossaire en fin d’ouvrage.

3 Howard Strauss, “Library portals: A minority report”, NetConnect, 2002, 127(17), pp. 34-37. Sur la possibilité de tagguer les notices, se souvenir de l’outil Aquabrower de la société néerlandaise Medialab qui a été proposé dans de nombreux OPAC.

4 « Près de 350 bibliothèques ont fermé en Grande-Bretagne au cours des six dernières années, provoquant la perte de près de 8 000 emplois ». Voir “Libraries facing 'greatest crisis' in their history”, The Guardian, 29 mars 2016. [En ligne] : < http://www.theguardian.com/books/2016/mar/29/libraries-facing-greatest-crisis-in-their-history >.

5Libraries Transform: An initiative of the American Library Association. [En ligne] : < http://www.ilovelibraries.org/librariestransform/ >.

Partie I. Contexte

Mesures en bibliothèque : panorama et évolution

Nadine Delcarmine

« Ce qui compte ne peut pas toujours être compté, et ce qui peut être compté ne compte pas forcément. »1 Albert Einstein

La mesure en bibliothèque : un usage inscrit dans leur histoire

En 2011, Pierre Carbone a décrit les évolutions de la mesure des bibliothèques et de leur évaluation dans sa contribution à l’ouvrage Évaluer la bibliothèque2 intitulée « Évaluation et statistiques dans l’administration des bibliothèques françaises ».

De l’obligation faite aux bibliothèques dès le xixe siècle de produire un rapport annuel, en passant par la création de l’enquête statistique par la Direction des bibliothèques et de la lecture publique au lendemain de la seconde guerre mondiale, jusqu’à la collecte et la publication actuelles des données des bibliothèques publiques par l’Observatoire de la lecture publique3 placé sous l’autorité du Service du livre et de la lecture (SLL) et, depuis 2014, à la version révisée de l’Enquête statistique générale auprès des services documentaires de l'enseignement supérieur (ESGBU), les données statistiques des bibliothèques s’inscrivent dans une histoire longue qui traduit le souci de l’État français de connaître et impulser l’activité des bibliothèques et de suivre l’utilisation des deniers publics qui leur sont affectés.

Des enjeux et des pratiques profondément renouvelés

La mesure de l’activité des bibliothèques a été affectée par deux puissants mouvements de fond ces dernières années :

dès le milieu de la décennie 1990, les bibliothèques, rompant avec leur orientation traditionnelle axée sur la constitution de collections imprimées et leur conservation, ont entamé un lent processus de recentrage de leur activité sur les services au public. Portés par les missions dévolues aux bibliothèques (lieux de construction et de diffusion des savoirs et de la culture, outils pour l’égalité des chances et le partage de la connaissance), les bibliothécaires se sont préoccupés d’organiser la rencontre des ressources documentaires détenues ou mises en accès par la bibliothèque avec ses usagers et de répondre à leurs attentes ;

au tournant du IIIe millénaire, les collections numériques sont apparues et se développent depuis à un rythme exponentiel dans les sciences exactes bien sûr mais pas uniquement. Avec Internet, la révolution du support et de l'accès à l'information engendre une révolution des usages de la documentation sous toutes ses formes, les conditions de l’accès au savoir et à la culture sont bouleversées. Le développement du livre numérique est un enjeu majeur des prochaines années pour le grand public comme pour la formation tandis que pour les chercheurs l’urgence réside dans la fouille de données et de textes à partir de ressources en libre accès ou payantes.

C’est ainsi que de données brutes exploitées essentiellement à l’échelle nationale, on est passé à des indicateurs sophistiqués utiles en local, à l’échelon national et/ou international.

En lien avec ces transformations, les bibliothécaires ont renouvelé et développé les services offerts aux publics de tous types, ils ont déployé nombre de compétences nouvelles pour accompagner ces transformations et pratiquent une veille active.

Par les évolutions de la documentation et des pratiques documentaires

Il s’agit maintenant de redonner de la visibilité à leur action, mais le recueil de données quantitatives fiables (mais aussi qualitatives) sur les services se fait dorénavant dans une complexité croissante. Avec le numérique, les bibliothèques sont passées d’une logique de stock à une logique de flux. Mesurer les usages de collections numériques dont les bibliothèques ne sont pas propriétaires mais qu’elles paient à prix d’or reste aujourd’hui encore délicat, en dépit des avancées obtenues depuis l’apparition de la norme de comptage Counter* et d’outils de suivi des usages tel ezPAARSE4. Il est, par exemple, plus difficile d’appréhender des flux documentaires que des emprunts de collections physiques ; la multiplicité et la variété des usages sur supports numériques décuplent les démarches de comptage. Au final, pour percevoir la globalité de l’action des bibliothèques, il n’est pas encore si naturel d’additionner des entrées physiques dans les bibliothèques et des connexions à des serveurs, ni des prêts de documents physiques et des visualisations/déchargements de documents ou parties de documents.

Par les évolutions des environnements institutionnels

Depuis les années 1980 et plus encore le début des années 2000, cette évaluation des bibliothèques a évolué dans des environnements institutionnels profondément renouvelés avec un État de moins en moins directement gestionnaire des bibliothèques suite aux lois de décentralisation qui ont d’abord affecté les relations entre l’État et les collectivités territoriales avant de modifier les liens entre l’État et les universités au travers de la loi relative aux libertés et responsabilité des universités (LRU) et de l’application des responsabilités et compétences élargies (RCE) de ces mêmes universités.

Pierre Carbone souligne que l’État est dès lors « conduit à piloter une démarche contractuelle avec les collectivités territoriales et les établissements publics. Le contrat constitue l’accord sur les objectifs partagés par l’État et la collectivité, le point de rencontre entre la démarche locale de projet et les orientations nationales. […] La collectivité ou l’établissement définit ses priorités et ses objectifs en fonction d’une démarche stratégique globale, ce qui amène la bibliothèque à mettre l’accent sur le soutien et l’accompagnement de ces axes stratégiques. […] De ce fait, la définition des objectifs et des indicateurs n’est pas réservée au spécialiste du secteur, mais résulte idéalement d’un dialogue entre les décideurs, les usagers et les gestionnaires. Autrement dit, l’évaluation des bibliothèques n’est plus la seule affaire des bibliothécaires ou de leurs gestionnaires directs à l’administration centrale, mais devient l’affaire de tous. » 5

...