Rémi Ronfard : « En finir avec la fausse coupure entre scientifiques et littéraires »

Avec mon équipe-projet ANIMA, nous travaillons à la création et la mise en scène de mondes virtuels pour le cinéma, les jeux vidéo mais aussi le théâtre. On cherche à perfectionner nos logiciels et nos intelligences artificielles (IA) pour que le déplacement d’objets, le changement de décor ou les mouvements des acteurs soient les plus réalistes possible dans le monde virtuel. Un des principaux enjeux de notre travail est de trouver le moyen de représenter algorithmiquement le mouvement humain dans toute son expressivité. On sait enregistrer le mouvement humain, mais il est difficile de le retravailler en aval. Les mouvements d’un grand danseur peuvent difficilement être reproduits à partir des données de mil- lions de personnes qui ne savent pas danser. Les artistes ne nous laisseront jamais tranquilles ! Même avec de grandes bases de données, nous ne sommes pas encore parvenus à ce que le mouvement robotique retranscrive fidèlement le mouvement naturel.

On souhaite créer un mouvement similaire à l’informatique musicale, qui existe depuis une trentaine d’années, et faire du théâtre « électronique » ou du théâtre virtuel. Jusqu’à présent, le temps réel du spectacle vivant est resté à l’écart de l’essor des mondes virtuels. Mais si le théâtre filmé n’a jamais eu beaucoup de succès, le théâtre immersif, lui, peut devenir intéressant, y compris pour les artistes. Pour l’instant, les expérimentations ont principalement consisté à enregistrer un spectacle en réalité virtuelle auquel les spectateurs ont ensuite accès depuis chez eux. Des expériences en temps réel sont aussi en train de voir le jour, avec l’idée que les acteurs et les spectateurs soient libres de leurs mouvements à l’intérieur du monde virtuel. Mais il n’existe pas à ce jour de centre de création mixte de recherche informatique théâtrale, à l’instar de l’Ircam (Institut de recherche et de coordination acoustique/musique) pour la musique.

Oui, c’est le but du logiciel libre Kino Ai. Cet outil permet aux théâtres de filmer et de monter automatiquement le film d’une répétition ou d’une représentation. C’est une opération qui est habituellement coûteuse pour les théâtres, car elle nécessite de nombreuses caméras pour un montage final qui n’est pas toujours très réussi. Kino Ai allège le dispositif en ne disposant qu’une seule caméra à une dizaine de mètres de la scène. Sa très haute résolution (jusqu’à 12K) permet de chercher différentes valeurs de plan au sein d’une même image. Évidemment, le format des vidéos s’en ressent. Lors d’une captation de répétition d’une adaptation du Frankenstein de Mary Shelley, je devais acheter un disque dur d’1 téraoctet par jour ! Depuis, nous distribuons Kino Ai en open source en mettant à disposition des théâtres les serveurs de Inria. Les rushs de chaque captation sont envoyés directement sur notre réseau et sont accessibles via le cloud.

Le plus dur c’est que l’IA analyse correctement le déplacement des acteurs, la position des objets, la bonne valeur de cadre. Mon approche consiste donc à paramétrer le logiciel pour qu’il minimise les erreurs de montage classiques au théâtre (jumpcut, mauvais raccord des regards, etc.) et qu’il se rapproche le plus possible du cœur de l’action. Pour résumer, on crée des algorithmes pour maximiser la probabilité que notre montage soit bon. C’est une approche par optimisation : on utilise du machine learning, pas de l’IA par apprentissage de règles. Mais le montage automatique est encore une question émergente.

Le monde académique a besoin d’en finir avec la fausse coupure entre scientifiques et littéraires. Ce sont souvent deux milieux qui ne se connaissent pas très bien, ce qui complique la conduite de recherches en commun. Heureusement, des doctorats de recherche par la pratique artistique commencent à se créer. Je co-dirige par exemple la thèse d’un jeune monteur qui s’intéresse à la pratique du montage comme vecteur narratif dans les expériences immersives numériques. Nous n’avons pas le même parcours, mais chacun prend le temps de lire la littérature de l’autre et on finit toujours par se comprendre. C’est très enrichissant, on se pose beaucoup de questions sur le sens du virtuel, sur le vocabulaire le plus à même de le décrire. À mon avis, c’est dans ces coopérations que se trouve l’avenir de la recherche.

Le montage a été pensé pour l’art cinématographique. Mais qu’est-ce qu’assister à une scène quand on est soi-même dans la scène ? Nous explorons donc des moyens d’adapter le montage à la réalité virtuelle. Par exemple, on a reproduit en 3D la scène de La Mort aux trousses d’Alfred Hitchcock, dans laquelle Cary Grant doit se jeter à plat ventre dans un champ pour éviter l’avion qui l’attaque. On se demande comment la mettre en scène pour offrir la meilleure expérience de réalité virtuelle. Le but n’est pas que le spectateur se mette dans la peau de Cary Grant, mais qu’il soit véritablement immergé dans la scène. Pour ce faire, nous avons dû innover en concevant une station de montage qui puisse être utilisée directement dans le monde virtuel.