Géry Casiez : « Il ne devrait y avoir aucune latence dans un système tactile »

Ce projet avait principalement pour but de mettre au point des outils pour mesurer le temps de latence sur les surfaces tactiles. Ce temps de latence correspond au temps qui s’écoule entre une action physique, un déplacement de doigt ou de stylet, et le moment où l’écran a fini d’afficher la réponse à cette entrée utilisateur. En moyenne, il est de 50 millisecondes. Or, une personne détecte la latence dès 5 à 10 millisecondes. Plus il y a e latence, moins l’expérience utilisateur est agréable et performante : on va percevoir un décalage entre le doigt et l’objet déplacé. Idéalement, il ne devrait y avoir aucune latence dans un système tactile, comme lorsque la main écrit avec un stylo sur du papier.

Elles permettent de mesurer la latence de bout en bout pendant que l’utilisateur interagit avec une application. Avant, pour obtenir la latence, il fallait utiliser une caméra haute fréquence et analyser image par image le 69 mouvement du doigt sur l’écran. C’était fastidieux et on ne pouvait pas savoir précisément d’où provenait la latence.

Nous avons mis au point un dispositif qui chronomètre la latence à partir d’un capteur de vibrations placé sur le doigt et d’une photodiode – un composant électronique capable de transformer un rayonnement optique en signal électrique – qui détecte la réponse de l’écran. Cela permet de découper la latence en sous-parties (contact doigt-écran, transcription du mouvement par l’application, affichage de l’écran) et donc de mieux savoir à quel endroit on peut agir pour la minimiser. C’est cela qui est novateur.

Nvidia, une entreprise mondiale spécialisée dans les cartes graphiques pour les jeux vidéo, a d’ailleurs développé le Latency Display Analysis Tool, un outil qui s’inspire beaucoup de notre projet.
 

Sur des écrans capacitifs car ce sont ceux qui sont majoritairement employés dans la fabrication de smartphones et de tablettes. Lorsque le doigt rentre en contact avec ce type d’écran, il modifie la capacitance de l’écran en absorbant une partie de la charge électrique à sa surface.

Contrairement à la technologie résistive, utilisée dans les écrans à bas coûts comme les vieux GPS TomTom, le doigt n’a pas besoin d’appuyer fort pour être détecté par un écran capacitif. Mais la latence existe dans tous les systèmes interactifs : souris, touchpad, réalité augmentée et virtuelle.

Il faut prédire au mieux la trajectoire empruntée par le doigt de l’utilisateur. Il est facile de l’estimer à partir d’un mouvement du doigt linéaire et à vitesse constante. Mais cela se corse dès que le doigt accélère, ralentit ou tourne. L’objet qu’il déplace sur l’écran se retrouve alors devant ou derrière lui, il tremble et saute comme un yoyo. Nous sommes parvenus à mieux quantifier ces effets indésirables, grâce à des formules mathématiques permettant de les estimer.

Puis, dans un second temps, nous avons développé le TurboTouch Predictor, un algorithme de compensation de latence utilisant des techniques avancées de calcul de dérivées et un mécanisme de modulation de la prédiction. Ces travaux ont été validés par des expériences en laboratoire avec des utilisateurs.

Cet algorithme découle d’une observation : quand on déplace doucement son doigt à la surface d’un écran, on est peu sensible à la latence. Il y a un arbitrage entre vitesse et effet indésirable. Pour un déplacement lent, il n’y a pas besoin de prédire loin dans le temps, mais les effets indésirables (tremblements, à-coups) sont plus perceptibles par l’utilisateur.

Inversement, un déplacement rapide nécessite de prédire le mouvement plus loin dans le temps mais nous rend moins sensibles à ces effets indésirables. Nous avons donc créé un prédicteur qui module la quantité de prédiction en fonction de la vitesse.

Nous avons cherché à optimiser les fonctions de transfert, celles qui caractérisent les interactions indirectes entre l’utilisateur et le contenu numérique via un touchpad ou une souris. Le projet a par exemple donné naissance à un mode de défilement d’écran qui utilise la force appliquée sur l’écran.

Mais le Graal serait d’avoir une loi nous donnant la fonction de transfert idéale en fonction du matériau, de l’utilisateur ou de la taille de l’écran. L’idée est donc de poursuivre les recherches sur de nouveaux prédicteurs et de nouveaux moyens d’améliorer les fonctions de transfert.