© Armand Colin, 2021

ISBN : 9782200632588

Conseiller éditorial : Michel Marie

Illustration de couverture : Fenêtre sur cour
(Rear Window, Alfred Hitchcock, 1954)
Courtesy of Universal Studios Licensing LLC
© 1954 Universal City Studios

© Armand Colin, 2005, 2013, 2017, 2021
© Nathan, 1990 pour la 1re édition

Armand Colin est une marque de Dunod Editeur
11 rue Paul Bert, 92240 Malakoff
https://www.armand-colin.com/

Du même auteur

Les Musiques électroacoustiques (avec Guy Reibel), INA/Édisud, 1976.

Pierre Henry, Fayard/Sacem, 1980 (nouvelle éd. 2003).

La Musique électroacoustique, PUF, coll. « Que sais-je ? », 1982.

La Voix au cinéma, Éditions de l’Étoile, 1982.

Guide des objets sonores. Pierre Schaeffer et la recherche musicale, INA/Buchet-Chastel,

coll. « Bibliothèque de Recherche musicale », 1983.

Le Son au cinéma, Cahiers du cinéma, 1985.

Écrire un scénario, Cahiers du cinéma/INA, 1985 (nouvelle éd. 2007).

Jacques Tati, Cahiers du cinéma, 1987.

La Toile trouée, ou la parole au cinéma, Cahiers du cinéma, 1988.

Les Lumières de la ville, de Charlie Chaplin, Nathan, coll. « Synopsis », 1989.

Le Cinéma et ses métiers, Bordas, 1990.

La Musique concrète, art des sons fixés, Metamkine/Nota Bene/Sono-Concept, 1991

(rééd. Mômeludies éd., CFMI, Lyon, 2010).

David Lynch, Cahiers du cinéma, 1992 (dernière éd. mise à jour 2007).

Le Poème symphonique et la musique à programme, Fayard, 1993.

La Symphonie à l’époque romantique, de Beethoven à Mahler, Fayard, 1994.

Musiques, Médias, Technologie, Flammarion, coll. « Dominos », 1994.

La Musique au cinéma, Fayard, 1995 (nouvelle éd. 2018).

La Comédie musicale, Cahiers du cinéma, 2002.

Technique et création au cinéma, ESEC, 2002.

Un art sonore, le cinéma, Cahiers du cinéma, 2003.

Stanley Kubrick. L’humain ni plus ni moins, Cahiers du cinéma, 2005.

La Ligne rouge, de Terrence Malick, Éd. de la Transparence, 2005.

Andreï Tarkovski, Cahiers du cinéma/Le Monde, coll. « Grands cinéastes », 2008.

Le Complexe de Cyrano. La langue parlée dans les films français, Cahiers du cinéma, 2008.

Les Films de science-fiction, Cahiers du cinéma, 2008.

L’Écrit au cinéma, Armand Colin, 2013.

Le Son, Armand Colin, 2018, 3e éd.

Des sons dans l'espace, à l'écoute du space opera, Capprici, 2019.

Le code de la propriété intellectuelle n'autorisant, aux termes des paragraphes 2 et 3 de l'article L122-5, d'une part, que les « copies ou reproductions strictement réservées à l'usage privé du copiste et non destinées à une utilisation collective » et, d'autre part, sous réserve du nom de l'auteur et de la source, que « les analyses et les courtes citations justifiées par le caractère critique, polémique, pédagogique, scientifique ou d'information », toute représentation ou reproduction intégrale ou partielle, faite sans consentement de l'auteur ou de ses ayants droit, est illicite (art; L122-4). Toute représentation ou reproduction, par quelque procédé que ce soit, notamment par téléchargement ou sortie imprimante, constituera donc une contrefaçon sanctionnée par les articles L 335-2 et suivants du code de la propriété intellectuelle.

All rights reserved. This work may not be translated or copied in whole or in part without the written permission of the publisher.

Toute reproduction d'un extrait quelconque de ce livre par quelque procédé que ce soit, et notamment par photocopie ou microfilm, est interdite sans autorisation écrite de l'éditeur.

Avant-propos​​​

L’Audio-vision : par ce titre, qui dans la première édition de cet ouvrage, en 1990, était un néologisme, et dont nous sommes fier qu’il se soit répandu à travers de nombreuses traductions et rééditions, nous voulions signifier qu’il s’agissait d’une perception en soi, et que dès lors, étudier indépendamment les sons et les images d’un film n’a pas de sens.

Encore aujourd’hui pourtant, en 2021, c’est-à-dire presque quatre-vingt-quinze ans après le début du cinéma sonore et parlant, on continue d’aborder le cinéma comme un art visuel, et de dire « voir » un film, une série, une émission, en négligeant la modification introduite par la présence d’un son synchronisé. Ou bien, on se contente d’un schéma additif : assister à un spectacle audio-visuel reviendrait en somme à recevoir une « bande-image » à laquelle se superposerait une « bande-son » (notion qui, nous le démontrons, n'a aucune pertinence autre que technique), chaque perception restant sagement de son côté.

L’objet de ce livre est de montrer comment en réalité, dans la combinaison audio-visuelle, une perception influence l’autre et la transforme : on ne « voit » pas la même chose quand on entend ; on n’« entend » pas la même chose quand on voit.

Le problème ne se pose donc plus d’une supposée redondance entre les deux domaines, ni d’un rapport de préséance entre eux (la fameuse et fausse question, toujours posée : « lequel est le plus important, le son ou l’image ? »). Ceux qui ont critiqué l’approche du présent ouvrage en disant que celui-ci ferait du son un « serviteur de l’image », n’avaient donc pas bien lu, ou bien ils avaient du mal à renoncer au schéma du rapport de forces.

Cet ouvrage est à la fois théorique, historique et pratique, puisqu’ayant décrit et formulé le rapport audio-visuel au cinéma comme contrat (c’est-à-dire comme le contraire d’un rapport naturel renvoyant à une harmonie préexistante des perceptions entre elles), il esquisse une méthode d’observation et d’analyse, susceptible de s’appliquer aux films, et issue de nos nombreuses interventions pédagogiques, mais aussi de notre expérience multiple comme réalisateur cinéma et radio, compositeur de musique concrète, technicien, « concepteur son » d’œuvres audio-visuelles, etc.

Les chapitres constituant la première partie, « Le contrat audio-visuel », font le point sur une série de réponses possibles ; les suivants, « Au-delà des sons et des images », tentent de formuler les questions et d’aller au-delà des barrières établies et des visions trop compartimentées.

La première édition de cet essai remonte à 1990 ; c’est pourquoi nous l’avons remis à jour une nouvelle fois, aussi bien pour ce qui est de notre méthode que pour ce qui est des situations audio-visuelles décrites, et des exemples de films. Un des plus grands changements pour le lecteur est l’accès souvent immédiat, via Internet, à des exemples de films plus ou moins légalement mis à la disposition de tous : c'est l'objet d'un nouveau chapitre, à l'occasion de cette 5e édition.

Cette recherche doit beaucoup non seulement à notre expérience pratique et professionnelle (radio, réalisation de films et de musiques), mais aussi à des rencontres et des échanges, comme enseignant, avec des étudiants et des professeurs de l’IDHEC, de l’IDA, de l’ESEC, de l’IRCAV, de l’INSAS de Bruxelles, du Centre Parisien d’Études Critiques de Paris, de l’École des Arts de Lausanne, de la revue Ekran à Ljubljana, des Universités de Buenos Aires, Villa Maria et Tandil en Argentine, de l'Université catholique à Santiago du Chili, de la FAMU de Prague, de la School of Sound à Londres, de différentes écoles et universités à Pise, Rome, Naples et Palerme en Italie, de l'Université de Montréal au Québec, et de nombreuses universités des USA (Iowa City, Stanford, Emory à Atlanta, Chicago, NYU, etc.), ainsi que dans le cadre de notre association Acoulogia. Nos deux années comme fellow invité par l’IKKM de l’Université du Bauhaus à Weimar (2011-12) et par le Wissenschaftskolleg de Berlin (2014-15), en Allemagne, nous ont offert des conditions de travail inestimables. Nous remercions les animateurs et responsables de ces différents centres, ainsi que, pour leurs fructueuses réactions et suggestions, Christiane Sacco-Zagaroli, Rick Altman, Walter Murch, Henri Alekan, Claude Brichet, Kostia Milhakiev, Silvio Fischbein, Gustavo Costantini, André Gaudreault, Jörg Lensing, Sandra Lischi, Reinhart Meyer-Kalkus, Claudia Gorbman (qui a traduit plusieurs de nos ouvrages, dont les précédentes éditions de celui-ci), Elizabeth Weis, John Belton, et bien sûr Michel Marie, à qui ce livre doit d’exister. Mais ce sont Pierre Schaeffer et Henri Alekan, qui, chacun de leur côté, nous ont mis « le pied à l'étrier » dans ce domaine, à la fin des années 1970. Enfin, Jean-Baptiste Gugès nous a encouragé et soutenu pour donner de ce livre, en 2017, une version enfin largement réactualisée. À cette version a été principalement ajouté, en 2020, un dernier chapitre complètement nouveau.

Michel Chion, 15 décembre 2020

​​Première partieLe contrat audio-visuel

Chapitre 1​​Projections du son sur l’image

​​1. L’illusion audio-visuelle

La salle s’éteint, le film commence. Ou bien, chez soi ou en voyage, on actionne une touche play. Sur l’écran grand ou petit se succèdent des images, brutales, énigmatiques : une projection de cinéma, la pellicule en gros plan… Des scènes traumatisantes d’animaux sacrifiés. Une main clouée. Puis une morgue, où le temps quotidien s’écoule ; dans cette morgue un enfant qui semble d’abord un corps comme les autres, et qui en fait s’agite, se retourne sur le ventre, lit un livre, approche sa main de la surface de l’écran, et sous cette main semble former le visage d’une très belle femme.

Voilà ce que nous avons « vu ». Voilà la séquence-prologue de Persona d’Ingmar Bergman (1967), telle qu’elle a été analysée dans des livres et des cours, et des sites Internet. Et le film pourrait continuer à se dérouler ainsi.

Stop !

Nous reprenons le film de Bergman au début, et comme ça, tout simplement, nous coupons le son, pour essayer de regarder la scène en oubliant ce que nous avons vu auparavant. C’est autre chose, maintenant, que nous « voyons ».

1​ Un des trois plans de main clouée dans Persona​ (1967).

Le plan de la main clouée, d’abord : dans le silence, il se révèle à nous qu’il s’agissait de trois plans distincts, alors que nous n’en avions vu qu’un, parce qu’ils s’enchaînaient par le son (illus. 1). Et surtout, privée de bruit, la main clouée est abstraite. Bruitée, elle est terrifiante, réelle. Les images de morgue : sans le son qui les reliait (un égouttement d’eau), nous y découvrons une série de photographies fixes, des bouts de corps humains isolés les uns des autres, dépourvus d’espace et de temps. Et la main droite du petit garçon, sans la note vibrante qui accompagne et structure son exploration, ne forme plus le visage, elle court simplement au hasard, sans but. La séquence a perdu son rythme et son unité. Bergman serait-il un réalisateur surfait ? Le son était-il le masque d’une image vide ?

Regardons par ailleurs une séquence de Jacques Tati, dans Les Vacances de Monsieur Hulot (1953) : sur une petite station balnéaire, des gags subtils nous font rire (illus. 2). Et les vacanciers sont si amusants avec leur air coincé, à ne pas s’amuser, à s’inquiéter !

2​​ Les Vacances de Monsieur Hulot​ (1953).
Regards soupçonneux dans l’image, jeux et animation dans le son.

Là, c’est l’image que nous coupons, et surprise ! Comme le versant pile de l’image un autre film apparaît, que nous « voyons » maintenant avec nos seules oreilles : il y a des cris d’enfants qui s’amusent et qui jouent, des voix qui résonnent dans un espace de plein air, tout un monde de jeu et d’animation. Il était là, dans le son, et n’était pas là !

Maintenant, redonnons à Bergman ses sons et à Tati son image, et tout se remet en place. La main clouée fait mal à voir, l’enfant pétrit ses visages, les estivants ont un drôle d’air, et des bruits que nous n’entendions pas spécialement, quand il n’y avait que le son, sortent de l’image telles des bulles de bande dessinée.

Seulement, à présent, nous avons lu et entendu autrement.

Le cinéma, art de l’image : une illusion ? Certes, qu’est-ce que ça peut être d’autre de toute façon ? Et c’est bien de cela que parle ce livre : de l’illusion audio-visuelle.

Une illusion qui se trouve, pour commencer, au cœur de la plus importante des relations entre son et image : celle (illustrée ci-dessus par Bergman) de la valeur ajoutée.

​​2. La valeur ajoutée : définition

Par valeur ajoutée, nous désignons la valeur expressive et informative dont un son enrichit une image donnée, jusqu’à donner à croire, dans l’impression immédiate qu’on en a ou le souvenir qu’on en garde, que cette information ou cette expression se dégagent « naturellement » de ce qu’on voit et sont déjà contenues dans l’image seule. Et jusqu’à procurer l’impression, éminemment injuste, que le son est inutile et « redondant », et qu’il redoublerait un sens qu’en réalité il amène et crée, soit de toutes pièces, soit par sa différence d’avec ce qu’on voit.

Ce phénomène de valeur ajoutée fonctionne surtout dans le cadre du synchronisme son/image, par le principe de la synchrèse (voir chapitre 3), qui permet de nouer une relation immédiate et nécessaire entre quelque chose que l’on voit et quelque chose que l’on entend.

En particulier tout ce qui à l’écran est choc, chute, explosion plus ou moins simulés ou réalisés avec des matériaux peu résistants, prend par le son une consistance, une matérialité qui s’imposent.

Mais d’abord, au niveau le plus primitif, la valeur ajoutée est celle du texte sur l’image.

Pourquoi d’abord parler de texte ? Parce que le cinéma est majoritairement voco-centriste, et plus précisément verbo-centriste.

​​3. Valeur ajoutée par le texte

​​3.1. Voco-centrisme et verbo-centrisme de l’être humain
et donc du cinéma

Formuler que le son au cinéma est majoritairement voco-centriste, c’est rappeler que dans presque tous les cas, il met en vedette la voix, la met en évidence et la détache des autres sons. C’est la voix que recueille, sur le tournage, la prise de son, qui est presque toujours en fait une prise de voix ; et c’est la voix qu’on isole dans le mixage comme un instrument soliste dont les autres sons, musiques et bruits, seraient l’accompagnement.

Nous nommons voco-centrisme le processus par lequel, dans un ensemble sonore, la voix attire et centre spontanément notre attention, de la même façon que pour l’œil, dans un plan de cinéma, le visage humain. Ce voco-centrisme peut être barré ou atténué par des procédés particuliers, décrits au chapitre 8.

Cela ne veut pas dire que dans les films classiquement voco-centristes, les autres sons, à savoir les bruits et la musique, ne seraient « pas importants ». Seulement ce rôle agit souvent à un niveau moins conscient.

De même, l’essentiel du perfectionnement technologique apporté à la prise de son sur les tournages (invention de nouveaux micros et de nouveaux systèmes de captation) s’est concentré sur la parole. Car bien sûr, il ne s’agit pas de la voix des cris et des gémissements, mais de la voix comme support de l’expression verbale. Le voco-centrisme dont nous parlons est donc, presque toujours, un verbo-centrisme.

Mais si le son au cinéma est voco- et verbo-centriste, c’est d’abord parce que l’être humain, dans sa conduite et ses réactions quotidiennes, l’est également. Entend-il dans une rumeur quelconque une voix se détacher au milieu d’autres sons (souffle du vent, musique, véhicules, parole collective), ce sont ces voix qui captent et centrent d’abord son attention. Ensuite, à la rigueur, il pourra, s’il les connaît et s’il ne sait que trop bien qui parle et ce que cela veut dire, s’en détourner pour s’intéresser au reste.

Ces voix parlent-elles dans une langue qui lui est accessible, il va d’abord chercher le sens des mots, ne passant à l’interprétation des autres éléments que lorsque son intérêt sur le sens est saturé. Lit-il des sous-titres (qui, pour des raisons de concision et d’efficacité immédiate, ne peuvent aucunement donner l’équivalent stylistique ni la totalité du texte original) que ceux-ci structurent sa vision, ou plutôt son « audio-logo-vision ».

D’ailleurs, le sous-titrage joue un rôle croissant au cinéma, pour différentes raisons historiques : apparition des DVD avec menus donnant accès à différents langages, circulation des films sur Internet dans le monde, prolifération des films en plusieurs langues dont on respecte la différence.

​​3.2. Le texte structure la vision

Il y a un exemple éloquent que nous avons utilisé maintes fois dans nos cours pour démontrer la valeur ajoutée par le texte, et qui est emprunté à une émission télévisée ancienne de 1984. On y voit un meeting aérien se déroulant en Angleterre, et que commente un journaliste français depuis un studio parisien. Visiblement désarçonné devant ces images qui lui arrivent en désordre, le vaillant présentateur fait son métier comme il peut. À un moment donné, devant une image où nous voyons trois petits avions sur fond de ciel bleu, il déclare : « ce sont trois petits avions », – et l’énormité de la redondance ne manque jamais de faire rire.

Seulement, le journaliste aurait pu dire : « aujourd’hui le temps est magnifique », et on n’aurait plus « vu » que cela sur l’image, dans laquelle, en effet, aucun nuage n’est visible. Ou bien : « les deux premiers avions ont de l’avance sur le troisième », et tout le monde alors peut le voir. Ou encore : « où est passé le quatrième ? » – et l’absence de ce dernier avion, sorti du chapeau du commentateur par le pur pouvoir du Verbe, aurait sauté aux yeux. En somme le commentateur avait cinquante autres choses à dire tout aussi « redondantes », mais d’une redondance illusoire, puisqu’à chaque fois ces choses auraient si bien guidé et structuré notre vision que nous les aurions « naturellement » vues dedans.

Les limites de la célèbre démonstration qu’a voulu faire Chris Marker dans son documentaire Lettre de Sibérie​ (1958), lorsqu’il plaque sur une même séquence anodine plusieurs commentaires d’inspiration politique différente (stalinien, anticommuniste, etc.), c’est qu’elle donne à croire – par ses exemples outrés – qu’il n’y a là qu’une question d’idéologie, et qu’à part cela, il y aurait une façon neutre de parler.

Or, la valeur ajoutée du texte sur l’image va bien au-delà d’une opinion plaquée sur une vision (ce serait facile à contrer), et c’est la structuration même de la vision qu’elle engage, en la cadrant rigoureusement. En tout cas la vision de l’image de cinéma, fugitive et passagère (jusqu’à la disponibilité, à partir de 1980, des films sur cassette, DVD, fichiers) ne nous est pas donnée à explorer à notre rythme, contrairement à un tableau sur un mur ou une photographie dans un livre, dont nous déterminons nous-mêmes le temps d’exploration, de sorte qu’il nous est plus facile de les voir en les détachant de leur légende, de leur commentaire.

Ainsi, si l’image de cinéma ou de télévision semble parler d’elle-même, c’est en fait une parole… de ventriloque. Et le plan des trois petits avions dans un ciel pur, quand il dit « trois petits avions », est une marionnette animée par la voix du commentateur.

​​4. Valeur ajoutée par la musique

​​4.1. Effet empathique et anempathique

Il y a deux façons principales pour la musique de créer au cinéma une émotion spécifique, en rapport avec la situation montrée.

Dans l’un, la musique exprime directement sa participation à l’émotion de la scène, en revêtant le rythme, le ton, le phrasé adaptés, cela évidemment en fonction de codes culturels de la tristesse, de la gaieté, de l’émotion et du mouvement. Nous pouvons parler alors de musique empathique (du mot empathie : faculté de ressentir les sentiments des autres).

C’est l’effet, bien connu, créé par une musique qui est ou semble en harmonie avec le climat de la scène : dramatique, tragique, mélancolique, etc. Il peut ne tenir aucunement à la musique en elle-même prise isolément, et ne se produire que dans le rapport particulier entre la musique et la situation, en quoi il tient alors de la valeur ajoutée. C’est pourquoi là encore, il ne s’agit nullement de « redondance ».

Dans l’autre cas, qu’on peut appeler anempathique (avec un « a » privatif), elle affiche au contraire une indifférence ostensible à la situation, en se déroulant de manière égale, impavide et inéluctable, comme un texte écrit ou une machine en fonctionnement – et c’est sur le fond même de cette indifférence que se déroule la scène, ce qui a pour effet non de geler l’émotion mais au contraire de la redoubler, en l’inscrivant sur un fond cosmique. De ce deuxième cas relèvent notamment les innombrables musiques de piano mécanique, de manège, de boîte à musique et d’orchestre de bal dont la frivolité et la naïveté étudiées renforcent dans les films l’émotion individuelle des personnages et du spectateur, dans la mesure même où elles affectent de les ignorer.

Sans doute cet effet d’indifférence du monde était-il déjà utilisé à l’opéra, par exemple à la fin du Carmen de Bizet, lorsque Don José poignarde l’héroïne, alors qu’on entend dans l’arène voisine la joie de la foule acclamant le toréador. Mais à l’écran, il a pris une telle importance qu’on est fondé à le croire en rapport intime avec l’essence du cinéma : sa mécanique cachée.

Tout film procède en effet d’un déroulement indifférent et automatique, celui de sa projection ou de sa lecture, qui provoque sur l’écran et dans les haut-parleurs des simulacres de mouvements et de vie – et ce processus mécanique doit se cacher et être oublié. Que fait la musique anempathique, sinon en dévoiler la vérité, la face robotique.

Il y a aussi, enfin, des musiques ni empathiques ni anempathiques, qui ont soit un sens abstrait, soit une simple fonction de présence, une valeur de poteau indicateur – en tout cas pas de résonance émotionnelle précise (nous parlons souvent de contrepoint didactique).

​​4.2. Bruits anempathiques

L’effet anempathique concerne le plus souvent la musique, mais il peut aussi être obtenu avec des bruits : lorsque par exemple, dans une scène très violente ou après la mort d’un personnage, un processus quelconque (bruit de machine, ronronnement d’un ventilateur, jet d’une douche, etc.) continue de se dérouler comme si de rien n’était, par exemple dans Psychose d’Alfred Hitchcock (1960 – illus. 3), ou Profession : reporter​ de Michelangelo Antonioni (1975), ou bien dans des films dramatiques « sans musique » comme No Country for Old Men (Joel et Ethan Coen, 2007)​, ou Flandres (Bruno Dumont, 2006)​, la rumeur du monde.

3​ Le son anempathique de la douche se poursuit
après le meurtre de Psychose​ (1960).

​​5. Influences du son sur les perceptions
de mouvement et de vitesse

​​5.1. Le son est mouvement

Les perceptions sonore et visuelle, comparées l’une à l’autre, sont de nature beaucoup plus disparate qu’on ne l’imagine. Si l’on n’en a conscience que faiblement, c’est parce que dans le contrat audio-visuel ces perceptions s’influencent mutuellement, et se prêtent l’une à l’autre, par contamination et projection, leurs propriétés respectives.

D’abord, le rapport de ces deux perceptions au mouvement et à la fixité est toujours fondamentalement différent : puisque le son contrairement au visuel suppose, lui, d’emblée du mouvement.

Dans une image de cinéma où communément certaines choses bougent, beaucoup d’autres peuvent rester fixes. Le son, lui, implique forcément par nature un déplacement, même minime, une agitation. Il a cependant le moyen de suggérer la fixité – mais dans des cas restreints.

À la limite, le son immobile est celui qui ne présente aucune variation dans son déroulement – une particularité qui se rencontre surtout pour les sons d’origine artificielle : la tonalité du téléphone ou le bruit de fond d’un amplificateur sonore. Cependant, certains sons de la nature tels que ceux des torrents et chutes d’eau font entendre parfois un grondement immuable proche du bruit blanc. L’effet d’un son fixe peut être aussi créé, mais avec un sens différent, par une variation, une évolution qui est répétée à l’infini telle quelle, « en boucle ».

​​5.2. Différence de vitesse perceptive

A priori, les perceptions sonore et visuelle ont chacune leur allure moyenne : en gros l’oreille analyse, travaille et synthétise plus vite que l’œil. Prenons un mouvement visuel précipité – un geste de la main – et comparons-le à un trajet sonore brusque de même durée. Le mouvement visuel brusque ne formera pas une figure nette, il ne sera pas mémorisé comme un trajet précis. Dans le même temps, le trajet sonore pourra dessiner une forme nette et affirmée, individualisée, reconnaissable entre toutes.

Ce n’est pas un problème d’attention : nous aurons beau nous repasser dix fois à la même vitesse le plan du mouvement visuel et le considérer attentivement (par exemple, un geste compliqué du bras fait par un personnage), – il ne dessinera toujours pas une figure nette. Répétons dix fois l’écoute d’un trajet sonore brusque : sa perception s’affirme, s’impose de mieux en mieux.

Il y a plusieurs raisons à cela : d’abord, pour les entendants, le son est le véhicule du langage, et une phrase parlée fait travailler l’oreille très vite (comparativement, la lecture avec les yeux est, sauf entraînement spécial, chez les sourds par exemple, sensiblement plus lente).

D’autre part, si l’œil est plus lent, c’est parce qu’il a plus à faire : il travaille à la fois dans l’espace, qu’il explore, et dans le temps, qu’il suit. Il est donc vite dépassé lorsqu’il doit assumer les deux. L’oreille, elle, isole une ligne, un point de son champ d’écoute, et elle suit ce point, cette ligne dans le temps. (Mais s’il s’agit d’une partition musicale familière à l’auditeur, l’écoute de celui-ci quitte plus facilement le fil du temps, pour se promener spatialement dans les couches instrumentales.) En gros, dans un premier contact avec un message audio-visuel, l’œil est donc plus habile spatialement, et l’oreille temporellement – ce qui ne veut pas dire qu’il n’y a pas de temporalité dans la vision, ni de spatialité dans l’audition.

​​5.3. Conséquences : mouvements visuels pointés ou illusionnés
par le son

Au cours de l’audio-vision d’un film sonore, ces différences de vitesse dans l’analyse ne sont pas repérées en tant que telles par le spectateur, dans la mesure où intervient la valeur ajoutée.

Pourquoi, par exemple, les mouvements visuels rapides qu’accumulent les films d’action ne créent-ils pas une impression confuse ? C’est parce qu’ils sont aidés et « pointés » par des ponctuations sonores rapides (sifflements, cris, chocs et tintements) qui marquent perceptivement certains moments et impriment dans la mémoire une trace audio-visuelle forte.

Le cinéma muet, pourtant, avait déjà, vers la fin des années 1920, une certaine prédilection pour les montages d’événements rapides : observons cependant que dans ce type de séquence, il veillait à simplifier l’image au maximum, c’est-à-dire à limiter la perception spatiale et exploratoire, afin de faciliter la perception temporelle. Cela impliquait une image hautement stylisée, analogue à un croquis. Un bon exemple en est la séquence de l’écrémeuse de La Ligne générale​ d’Eisenstein (1929), avec ses très gros plans de visages sceptiques, méfiants ou heureux réunis autour de la machine à faire le beurre. Les films d’action de Michael Bay (Rock, 2001) ou de Tony Scott (Domino, 2005), célèbres pour leur grand nombre de plans, ne procèdent pas autrement.

Si le cinéma sonore, lui, peut utiliser souvent des mouvements complexes et fugitifs se produisant au sein d’un cadre visuel encombré de personnages et de détails, c’est parce que le son qui y est superposé à l’image est susceptible de pointer et de détacher dans celle-ci un trajet visuel particulier.

On constate que les sourds formés au langage gestuel développent une capacité propre de lire et de structurer les phénomènes visuels rapides. Cela pose la question de savoir si, dans ce cas, ceux-ci ne mobilisent pas les mêmes aires cérébrales que celles que les entendants emploient pour le son : un des faits qui amènent la remise en question de nos idées toutes faites sur la séparation de ces catégories du son et de l’image.

​​5.4. Le créneau temporel de l’oreille

Par ailleurs, dire que l’écoute fonctionne « sur le fil du temps » est une formule qui demande à être nuancée. De fait l’oreille écoute par tranches brèves, et ce qui est perçu et mémorisé par elle consiste déjà en brèves synthèses de deux à trois secondes de l’évolution du son, formant des gestalts globales.

Seulement, à l’intérieur de ces deux à trois secondes perçues comme une forme d’ensemble, l’oreille (en fait le système oreille-cerveau) a fait très finement et très sérieusement son travail d’enquête, de sorte que son compte rendu global de l’événement, livré périodiquement, est bourré de détails précis et caractéristiques pris sur place.

On en arrive à ce paradoxe : nous n’entendons les sons (au sens de les reconnaître) qu’un peu après que nous les ayons perçus. Claquez des mains brièvement et sèchement, et écoutez le bruit que cela fait : l’écoute – en fait, l’appréhension synthétique d’un petit fragment, mis en mémoire, de l’histoire sonore – suivra l’événement de très près, elle ne lui sera pas totalement simultanée. En revanche, quand il y a synchrèse image/son, nous avons une réaction psycho-physiologique instantanée.

​​6. Influence du son sur la perception du temps dans l’image

​​6.1. Les trois aspects de la temporalisation

Parmi les différents effets de valeur ajoutée, un des plus importants porte sur la perception du temps de l’image, susceptible d’être influencée par le son. Un exemple extrême s’en trouve, on l’a vu, dans Persona​, où des images fixes dépourvues de toute temporalité sont inscrites dans un temps réel par des sons d’égouttement d’eau et de bruits de pas. De même, au début de La Jetée de Chris Marker (1962)​, les images fixes de l’aéroport d’Orly continuent d’être temporalisées par des sons de réacteurs, d’annonces par haut-parleurs, etc. Même chose pour les longs plans contemplatifs qu’on trouve parfois chez Bela Tarr ou Bruno Dumont (L’Humanité, 1999)​.

Cet effet de temporalisation dans lequel le son donne de la durée à des images qui n’en possèdent pas par elles-mêmes, ou bien influence et contamine la durée propre d’images comportant des mouvements, a trois aspects :

Animation temporelle de l’image : la perception du temps de l’image est rendue par le son plus ou moins fine, détaillée, immédiate, concrète – ou au contraire vague, flottante et large.

Linéarisation temporelle des plans qui, dans le cinéma muet, ne correspondent pas toujours à une durée linéaire dans laquelle le contenu du plan no 2 suivrait obligatoirement ce que montre le plan no 1, et ainsi de suite… Tandis que le son synchrone ajoute, lui, une idée de succession, qui se superpose, parfois, à celle de simultanéité, selon ce que nous appelons le dédoublement temporel.

Vectorisation, autrement dit dramatisation des plans, orientation vers un futur, un but, et création d’un sentiment d’imminence et d’attente. Le plan va quelque part et il est orienté dans le temps. Cet effet est repérable sous sa forme pure dans le prologue de Persona​, lorsqu’une lumière grossit et envahit la totalité du cadre, cependant que deux sons glissés ascendants montent vers l’aigu en crescendo.

​​6.2. Conditions pour une temporalisation des images par le son

Ces trois effets dépendent, pour être mis en œuvre, de la nature des images et des sons mis en rapport.

Premier cas, l’image n’a par elle-même aucune animation temporelle ni vectorisation. C’est le cas d’une image fixe, ou dont le mouvement n’est qu’une fluctuation globale ne laissant attendre aucune direction d’évolution : un miroitement d’eau stagnante, un paysage sans vent et vide de créatures ou d’objets en mouvement. Dans ce cas, le son peut entraîner cette image dans une temporalité qu’il introduit de toutes pièces (La Jetée)​, encore une fois, encore que dans ce cas les fondus-enchaînés entre les images fixes introduisent une temporalité visuelle par leur vitesse d’exécution.

Deuxième cas, l’image comporte une animation temporelle propre (déplacement de personnages ou d’objets, mouvements de fumées, de lumières, variation de cadre). La temporalité du son se combine alors avec celle déjà existante de l’image : soit pour aller dans le même sens, soit pour la contrarier légèrement – de la même manière que deux instruments qui jouent simultanément.

La temporalisation dépend aussi du type de sons. Selon sa densité, sa texture interne, son aspect et son déroulement, un son peut animer temporellement plus ou moins une image, à un rythme plus ou moins haletant et serré. Différents facteurs entrent ici en jeu :

La nature de l’entretien du son : un son à l’entretien lisse et continu est moins « animateur » qu’un son à l’entretien accidenté et tressaillant. Si l’on essaye tour à tour, pour accompagner une même image, une note tenue et prolongée de violon puis la même note exécutée en trémolo avec des sautillements d’archet, la seconde va créer sur l’image une attention plus tendue et immédiate que la première.

La prévisibilité ou imprévisibilité du déroulement sonore : un rythme régulièrement pulsé dans le son, telle une basse continue de musique, ou un tic-tac mécanique, donc prévisible, tend à créer une animation temporelle moins grande qu’un son au déroulement irrégulier, donc imprévisible, qui met l’oreille et l’ensemble de l’attention en constante alerte. Les gouttes d’eau de Persona​, ou celles que Tarkovski fait entendre dans Stalker (1979)​, en sont l’exemple : elles agacent l’attention par leur rythme finement ou fortement inégal. Mais un rythme trop régulièrement cyclique peut aussi créer un effet de tension, parce que l’on guette dans cette régularité mécanique même la possibilité d’une fluctuation.

Le rôle du tempo : l’animation temporelle de l’image par le son n’est pas une question mécanique de tempo ; une musique plus rapide n’accélère pas forcément la perception de l’image. La temporalisation dépend à vrai dire plus de la régularité ou de l’irrégularité du débit sonore que du tempo au sens musical du mot. Par exemple, si le débit des notes de la musique est instable mais l’allure modérée, l’animation temporelle sera plus grande que si l’allure est rapide mais régulière.

La définition du son : un son richement doté en fréquences aiguës créera une perception plus en alerte – ce qui explique que dans beaucoup de films récents, le spectateur soit sur le qui-vive.

La temporalisation dépend aussi du modèle d’accrochage entre son et image, et de la répartition des points de synchronisation (voir chapitre 3). Là encore, le son active plus ou moins une image selon qu’il introduit des points de synchronisation plus ou moins prévisibles ou imprévisibles, variés ou monotones. D’une manière générale, l’anticipation contrôlée est un facteur puissant de temporalisation.

Pour que le son influence temporellement l’image, il faut en résumé un minimum de conditions. Il faut d’abord que l’image s’y prête soit par sa fixité et sa réceptivité passive (cas des images fixes de Persona​), soit par son activité propre (micro-rythmes « temporisables » par le son) – c’est-à-dire, dans ce cas-là, qu’elle comporte un minimum d’éléments de structure, de concordance, de rencontre et de sympathie (comme on le dit pour les vibrations) ou d’antipathie active avec le flux sonore.

Les micro-rythmes visuels dont nous venons de parler sont des mouvements rapides dans la surface de l’image, causés par des événements tels que volutes de fumée, pluie, flocons, ondulations de la surface ridée d’un lac, sables, etc., et à la limite par le fourmillement du grain photographique lui-même, lorsque celui-ci est apparent. Ces phénomènes créent des valeurs rythmiques rapides et fluides, instaurant dans l’image même une temporalité vibrante, frémissante. Kurosawa les emploie systématiquement dans Rêves​ (1990) (pluie de pétales d’arbres en fleurs, de flocons dans une tempête de neige, de brouillard, etc.), et Hans-Jürgen Syberberg aime installer lui aussi, dans ses très longs plans posés, des micro-rythmes visuels (fumigènes dans Hitler, un film d’Allemagne [1977], flamme vacillante d’une bougie dans la lecture du monologue de Molly Bloom, Edith Clever lit Joyce [1985]), ainsi que Manoel de Oliveira (Le Soulier de satin, 1985​) et Hou Hsiao-hsien (The Assassin, 2015​), cela comme pour affirmer la durée propre du cinéma parlant, en tant qu’enregistrement de la micro-structure du présent.

​​6.3. Le cinéma sonore est une chronographie

Il faut rappeler, en effet, un point d’histoire peu souligné : c’est au son synchrone que nous devons d’avoir fait du cinéma un art du temps. La stabilisation du défilement du film à 24 images par seconde, rendue nécessaire vers la fin des années 1920 par le parlant, a eu en effet des conséquences bien au-delà de ce qu’on pouvait prévoir ; à cause d’elle, le temps du film est devenu non plus une valeur élastique, plus ou moins transposable selon le rythme de la projection, mais une valeur absolue. On était désormais assuré que ce qui avait telle durée au montage conserverait à la projection cette même durée exacte, ce qui n’était pas le cas dans le cinéma muet. Les plans du cinéma muet, eux, n’avaient pas de durée interne exacte, de frémissement temporel fixe : la projection laissant à chaque exploitant ou au projectionniste une certaine marge pour le rythme de défilement de la pellicule. Ce n’est qu’avec le parlant qu’est apparue la table de montage avec un moteur contrôlant et régularisant la vitesse de défilement du film.

Attention : nous parlons ici du rythme du film terminé, à l’intérieur duquel peuvent très bien être introduits des plans truqués à la prise de vue, accélérés ou ralentis, comme l’ont fait à différentes époques du cinéma sonore un Michael Powell, un Scorsese, un Peckinpah, un Fellini, un Lars von Trier ou un Johnnie To ; mais aussi beaucoup de westerns et de films d’action mettant en scène une poursuite à cheval, en char romain, en auto ou en vaisseau spatial. Seulement, si la vitesse de ces plans ne reproduit pas forcément la vitesse réelle à laquelle les acteurs ont joué au tournage, elle est fixée en tout cas dans le temps du film à une valeur précise.

Le son a donc temporalisé l’image non seulement par l’effet de la valeur ajoutée, mais aussi tout simplement en imposant une normalisation et une stabilisation de la vitesse de déroulement du film. Un Tarkovski ou un Jia Zhang-khe muets n’auraient pas été concevables ; et ce que le réalisateur russe disait du cinéma, qu’il est l’« art de sculpter dans le temps », il n’aurait pu le dire, ni surtout le faire, au temps du cinéma muet, lui qui dans Stalker​ ou Le Miroir​ (1975), anime ses longs plans de frémissements, de soubresauts et d’apparitions fugitives qui se combinent avec de vastes évolutions contrôlées, en une structure temporelle hyper-sensible. Le cinéma sonore peut donc être dit chronographique.

​​6.4. Linéarisation temporelle

Lorsqu’une succession d’images ne préjuge pas par elle-même de l’enchaînement temporel des actions qu’elle présente (les faisant voir comme pouvant être aussi bien simultanées que successives) – l’ajout d’un son réaliste et diégétique impose souvent à celle-ci un temps réel (c’est-à-dire compté selon notre mesure quotidienne) et surtout linéaire, successif.

Prenons une scène, telle qu’on en voit souvent dans le cinéma muet (Les Hommes le dimanche, 1929​), de réaction collective, construite comme un montage de gros plans de visages courroucés, tendus ou rieurs : sans le son, il n’y a aucune nécessité pour que les plans qui se succèdent sur l’écran désignent des actions s’enchaînant dans la réalité. On peut très bien comprendre les réactions comme simultanées, et les situer à un temps analogue au « perfectif ».

En revanche, si l’on colle sur ces images des sons de huées ou de rire collectif, elles se rangent comme magiquement dans un temps linéaire : le plan no 2 montre quelqu’un qui rit ou invective après le personnage du plan no 1, et ainsi de suite.

L’effet maladroit de certaines scènes de réaction collective, dans les tout premiers films parlants, vient de là : par exemple, dans le banquet initial de La Chienne​ de Renoir (1931), où le son (rires, échanges divers entre convives) y apparaît comme plaqué sur des images conçues et montées selon un temps encore non linéaire.

L’audition de la voix parlée a notamment, en tout cas lorsqu’elle est inscrite dans le temps diégétique et qu’elle se synchronise avec l’image, le pouvoir d’inscrire cette dernière dans un temps réel et linéarisé qui n’a plus d’élasticité, à cause, entre autres, de la structure de la phrase qui, selon les langues, adopte un certain ordre des mots. D’où cet effet, dans un premier temps, de « temps quotidien », qui consterna, à l’arrivée du parlant, beaucoup des cinéastes du muet.

​​6.5. Vectorisation du temps réel

Imaginons un plan paisible de film exotique dans lequel une femme est allongée dans un rocking-chair sur une véranda, assoupie, sa poitrine se soulevant régulièrement. La brise agite les tentures et fait tinter des clochettes de bambou accrochées près de l’entrée. Les feuilles des bananiers frémissent au vent. Ce plan très poétique, nous pouvons le faire défiler de la dernière à la première image – cela ne change rien d’essentiel en lui, tout y paraîtra aussi naturel. On dira alors que le temps dont est porteur ce plan est réel, puisqu’il est plein de micro-événements qui reconstituent la texture du présent, mais qu’il n’est pas vectorisé : entre le sens du passé vers le futur ou du futur vers le passé, nous ne constatons aucune différence sensible.

Maintenant, prenons les sons avec lesquels on pourrait bruiter cette scène – sons que l’on a enregistrés sur place, en direct, ou qu’on a refaits après coup : la respiration de la femme, le vent, le tintement des wood-chimes. Et inversons le sens de lecture, numériquement ou sur un support tel que la bande : cela ne va plus du tout, surtout le tintement. Pourquoi ? Parce que chacun de ces entrechoquements, constitué d’un choc et d’une petite résonance décroissante, est une histoire finie, orientée dans le temps d’une manière précise et irréversible. Renversé, il se repère tout de suite comme « à l’envers ». Les sons sont vectorisés plus souvent que les images en mouvement.

Même chose pour les gouttelettes d’eau du prologue de Persona​ : la moindre d’entre elles impose un temps réel, irréversible, parce qu’elle présente une courbe orientée dans le temps d’une certaine manière (petit choc et très fine résonance) qui s’accorde à la logique de la gravité et du retour à l’inertie.

C’est la différence, au cinéma, entre l’ordre du sonore et celui du visuel : à échelle de temps comparable (mettons deux à trois secondes), les phénomènes sonores sont beaucoup plus souvent vectorisés dans le temps, avec un début, un milieu et une fin non réversibles, que les phénomènes visuels.

Si cela nous échappe, c’est parce que le cinéma s’est souvent amusé avec les exceptions et les paradoxes, en jouant sur l’irréversible visuel : un objet brisé qui se reforme à partir de ses morceaux, ou le gag inévitable du baigneur sortant du bassin les pieds en haut et remontant sur son plongeoir. Mais dans des cas cinématographiques très fréquents, un personnage qui parle, sourit, joue du piano…, offre une image périodique et réversible, dans laquelle le sens passé-futur ne se marque pas comme il le fait dans le son, lequel est au contraire bien souvent un égrènement de petits phénomènes tous orientés dans le temps : la musique de piano, par exemple, n’est-elle pas constituée de milliers de petits indices de temps réel vectorisé, puisque chaque note aussitôt née commence à s’éteindre ?

En revanche, une image montrant des actions dues à des forces non réversibles (chute d’un objet sous l’effet de la gravité, explosion qui disperse des éclats, etc.), est nettement vectorisée.

​​6.6. La stridulation et le trémolo : caractère culturel ou naturel
de cette influence

L’animation temporelle de l’image par le son n’est pas un phénomène purement physique et mécanique : des codes cinématographiques et culturels y jouent aussi leur rôle. Une musique, ou un effet sonore et vocal, qui sont perçus comme culturellement déplacés dans le décor ne feront pas vibrer l’image. Et cependant, le phénomène a tout de même une base non culturelle.

Prenons l’exemple du trémolo d’instruments à cordes, un procédé classiquement employé dans l’opéra et la musique symphonique pour créer un sentiment de tension dramatique, de suspension, d’alerte.

Le cinéma est susceptible d’utiliser tout aussi bien, pour le même résultat, une stridulation d’insectes nocturnes, comme dans la scène finale des Enfants du silence​ (Randa Haines, 1987) ou un bruissement d’animaux dans une forêt des Îles Salomon (La Ligne rouge, Terrence Malick, 1999)​. Ce son d’ambiance n’est pourtant pas explicitement codé dans ce sens ; il n’est pas un procédé d’écriture officiellement répertorié, et malgré cela il peut avoir sur la perception dramatique du temps le même effet qu’a le trémolo orchestral de concentrer l’attention, et de nous rendre sensibles au moindre frémissement sur l’écran. Les monteurs-son et les mixeurs utilisent d’ailleurs fréquemment de telles ambiances, et en dosent l’effet comme des chefs d’orchestre, par le choix qu’ils font de certains enregistrements et la façon dont ils les mélangent pour créer un son global. Car évidemment l’effet variera selon la densité de la stridulation, son caractère plus ou moins régulier ou fluctuant, et son étendue – exactement comme pour un effet d’orchestre.

Or, quoi de commun, pour le spectateur de cinéma, entre un trémolo de cordes dans l’orchestre de fosse, qu’il repère comme procédé musical culturel, et un bruissement animal, qu’il perçoit comme une émanation naturelle du décor où se situe l’action, sans même envisager une seconde que celui-ci ait pu être enregistré séparément de l’image, et savamment recomposé ? Rien qu’une identité acoustique : celle d’un tressaillement aigu, légèrement et subtilement inégal, qui met en alerte tout en fascinant. Il semble donc bien qu’on soit face à un effet universel et spontané.

En même temps, ces effets de valeur ajoutée n’ont rien de mécanique : fondés sur une base psycho-physiologique, ils n’opèrent que dans certaines conditions culturelles, esthétiques et affectives, par une inter-réaction de tous les éléments.

​​7. Réciprocité de la valeur ajoutée :
effet de ce que l’on voit sur ce que l’on entend