Derrière les imaginaires, comprendre ce que l’IA calcule

L’intelligence artificielle est conçue pour accomplir certaines fonctions plutôt que d’autres. D’abord et surtout des fonctions de calcul très classiques comme le tri, la hiérarchisation, la catégorisation, la notation (appelée scoring) et l’appariement. Elle trie d’immenses quantités de donnée, qu’elle agence, hiérarchise et catégorise, produit des scores et des classements, des seuils et, par là même, des décisions en appariant des résultats à d’autres.

Pour produire tout ce qu’elle produit, sa fonction première consiste à scorer, c’est-à-dire à évaluer, à mesurer, à classer à très grande échelle des données en fonction de critères définis ou qu’elle va générer selon les besoins. Cette valeur chiffrée (de 0 à 1 ou de 0 à 100) permet d’apprécier l’adéquation de ce qui est calculé au calcul lui-même. Ces résultats permettent à la fois de produire des indicateurs et de situer ce qui est calculé dans ces derniers (on parle de seuils ou de ranking permettant de hiérarchiser ou classer les résultats, selon qu’ils atteignent ou non certains paliers). Ces échelles de score permettent de classer et de distinguer les uns des autres chaque élément calculé, pour produire des listes d’éléments ordonnés du moins bon au meilleur, comme une moyenne scolaire permet de classer les élèves. Avec les scores viennent des seuils, qui déterminent des possibilités, à l’image des mentions au bac. Le tout permettant de gérer des rapprochements ou appariements, comme lorsque les étudiants sont acceptés ou rejetés dans telle ou telle autre formation du supérieur.

Mais l’IA est capable de faire tout cela à une échelle sans précédent, dans des volumes que l’humain serait incapable d’embrasser, en prenant en compte des critères innombrables et en les invisibilisant sous sa complexité. Elle calcule ainsi les scores de risque de millions de personnes inscrites à la CAF ou à France Travail, dans les domaines assurantiels, bancaires ou marchands. Elle calcule l’adéquation d’une image à des millions d’autres, pour produire des scores de ressemblance d’individus dans les logiciels de reconnaissance faciale. Elle calcule l’adéquation d’un CV à une offre, en appréciant les mots et les postes. Pour construire ses réponses, l’IA prédit le mot suivant le plus probable. Et sur les terrains d’opérations militaires, elle détermine, depuis des réservoirs sans fin de données, qui doit être ciblé par une frappe et qui peut y échapper.

Les scores sont omniprésents et nous rappellent que le but premier du calcul est de calculer. De la force de freinage d’un métro automatique à la compatibilité d’une greffe, jusqu’au risque de défaillance bancaire, en passant par l’évaluation d’un profil sur un site de rencontre, tous les systèmes produisent des évaluations, sans que nous en ayons toujours conscience. Et c’est d’ailleurs l’un des problèmes, notamment dans les domaines des calculs à l’impact social élevé.

Le principal problème que posent ces notations, c’est qu’elles ne sont pas disponibles pour les concernés, c’est-à-dire que non seulement les gens ne sont pas informés que leurs données sont utilisées pour produire un score, mais ils n’ont pas non plus accès à ce dernier, ni aux éléments qui le déterminent. Avec l’IA, cette opacité s’étend à tous. Un agent confronté à un résultat dans un système de reconnaissance faciale (c’est-à-dire à un pourcentage de probabilité de ressemblance) ou au score de risque qu’un individu a d’appartenir à l’armée ennemie sur un système d’analyse du champ de bataille peut, parfois, consulter les sources qui président à ce score, mais ne connaît pas les éléments qui déterminent le poids des paramètres pris en compte, ni les plus décisifs. Dans les immenses calculateurs de l’IA, ce qui est effacé, ce sont les paramètres qui séparent, trient, classent, ordonnent, distinguent, désignent et donc discriminent.

Un des problèmes souvent pointé par ces scores tient au fait qu’ils prennent bien plus en compte les facteurs individuels que structurels : ils reposent par exemple sur des défaillances de paiements plus que sur la montée des emplois précaires ou la réduction des prestations sociales. Ce qui distingue l’IA des algorithmes classiques, c’est qu’elle rend ces classements encore plus opaques, puisqu’il est très difficile de comprendre ce qui préside à ces scores. Ainsi, quand on demande à une IA de classer des CV qui ne diffèrent que par les noms et prénoms des candidats, plutôt que de reconnaître qu’ils sont identiques, elle produit un classement basé sur l’origine ethnique supposée des patronymes.

Avec l’IA, la complexité de ces tris et classements est démultipliée, au détriment de la compréhension et, plus encore, de sa redevabilité. C’est ce qu’on appelle « l’effet boîte noire » : des classements sont produits, que leur complexité ne permet pas d’expliquer. Au risque de renforcer encore davantage les discriminations qui prospèrent déjà dans nos sociétés.

Ces tris, scores et classements ont souvent pour fonction d’apparier, de matcher, c’est-à-dire d’associer des individus et/ou des ressources par paires. Ces « mariages » entre un rein et un receveur, un étudiant et une formation, un chômeur et un emploi sont désormais médiés et assurés par la technologie. C’est l’essence même de bien des traitements : assembler des choses entre elles, en calculant le meilleur appariement possible ! Or, du logement social au logement carcéral, du prêt bancaire aux applications de rencontre, ce sont les mieux pourvus qui sont les mieux servis.

L’appariement se fait toujours depuis une efficacité technique au détriment d’une justice politique. Sous couvert de scientisme, qui fait passer des calculs de rapprochement bancals pour de la science, l’appariement procède par réductionnisme : le matching des mots d’un CV ne prédit rien des capacités d’un candidat au poste qu’il convoite ! Alors que l’objectivité apparente de l’appariement, sa technicité, prolongent le mythe d’un placement toujours ajusté, toujours adéquat, celui-ci prolonge le rêve où l’offre et la demande vont parfaitement se rejoindre, obscurcissant les innombrables biais de cette rencontre. Tout comme dans le marché, la rencontre entre l’offre et la demande écarte par nature ceux qui n’ont pas les moyens d’y procéder. Il évince très facilement ceux que le système dé-grade, générant au final des classes d’utilisateurs problématiques, au risque d’un « lumpenscoretariat », c’est-à-dire la stigmatisation d’une partie de la population toujours mal classée. L’appariement permet bien plus de gérer la pénurie que de la résoudre. Il promeut l’industrialisation des décisions au profit de ceux qui la mettent en place, au prix d’une grande transparence (et donc d’une grande surveillance) des éléments à apparier, sans que les plateformes de l’appariement ne se l’appliquent à elles-mêmes. Et laisse in fine les individus démunis de moyens d’actions contre les traitements défaillants dont ils peuvent être la cible.

L’artiste franco-canadien Grégory Chatonsky estime que la fonction principale de l’IA est la vectorisation. Cela consiste à assigner une étiquette à chaque profil, autant de labels temporaires ou permanents ajustés à nos identités numériques, comme les mots-clés publicitaires qui nous caractérisent, les données qui nous positionnent, le genre, l’âge, le niveau de revenu… À partir du moment où nous sommes assignés à une valeur, nous y sommes réduits, dans une forme d’indifférenciation qui produit ce que Grégory Chatonsky nomme des identités « rigidifiées », qui structurent « l’espace social selon des lignes de démarcation dont l’arbitraire est dissimulé sous l’apparence d’une objectivité naturalisée ». C’est le cas, par exemple, quand les données vous caractérisent comme homme ou femme par déduction, sans que ce soit nécessairement vrai. Le problème, c’est que ces assignations que nous ne maîtrisons pas sont indépassables. On aurait beau multiplier les discours sur l’égalité de genre, celles-ci réaffirment la différence entre homme et femme, comme un « horizon indépassable de l’intelligibilité sociale ». Nous ne pouvons pas échapper à l’assignation dont nous faisons l’objet.

Or, avec l’IA, ces assignations dépendent bien souvent de chaînes d’inférences que nul ne maîtrise vraiment, qui construisent des profils à la volée et décident, par déduction, qui nous sommes – non sans biais d’interprétations, ce qui les rend défaillantes et problématiques. Le problème est que l’inférence ne relève plus de données auxquelles les utilisateurs peuvent accéder, corriger ou supprimer. Elles sont produites par les calculs de l’IA, par-devers nous, sans notre consentement et souvent sans même que nous en ayons conscience, amplifiant l’asymétrie d’information. Le risque est celui d’une intensification des préjugés sociaux et une déstabilisation profonde des identités politiques, recomposées à la volée d’une IA à l’autre, sans que l’utilisateur n’ait la main dessus.

La dernière fonction de l’IA est de nous faire croire qu’elle ne serait qu’un ensemble d’outils très puissants, mis à notre disposition pour accélérer notre productivité, notre rentabilité, nos décisions. Or, comme le rappelle très pertinemment le journaliste Romaric Godin, l’IA est une technologie « conçue pour préserver le capitalisme ».

L’automatisation est l’ultime promesse pour assurer la poursuite de l’accumulation par une prédation totale et sans limite, qui vise à prolonger le capitalisme pour lui seul, au profit d’une innovation, d’un progrès, qui ne propose ni amélioration de la science, ni amélioration de la société. « C’est une utilisation de la science pour un but social donné », écrit le journaliste. Dans un monde où « l’empire de l’IA » ne consiste qu’à construire une domination économique, technique et financière sans partage, résister à ces outils et au monde que ses architectes fomentent va nécessiter d’armer le renoncement. Et pour cela, nous extraire des imaginaires colonialistes, extractivistes et coercitifs que l’IA achemine dans son sillage.

L’IA reste un ensemble de technologies visant à consolider et structurer des réseaux de pouvoir et d’infrastructures des géants de la technologie. Elle cherche davantage à bâtir une nouvelle économie politique – si ce n’est, pire, un nouveau régime politique – qu’à simplement fournir des outils à chacun d’entre nous. Gardons en tête qu’en acceptant ces outils, nous prenons le risque de participer à l’établissement d’une transformation économico-politique sans échappatoire.

Nous avons commencé notre propos sur les imaginaires, en invitant à les ouvrir pour les renouveler. Mais les renouveler nécessite d’abord de clore ceux dans lesquels l’IA barbote : à savoir les mythes, les mystifications, les promesses et les dénis produits par son solutionnisme, ainsi que les fonctionnalités opaques et sans équité que nous avons tenté d’évoquer dans les quatre épisodes de ce dossier.

La fiction a pris une place très inquiétante dans les discours des entreprises. Plutôt que d’incarner et de véhiculer des imaginaires collectifs, elle cherche à ancrer des idéologies, à rendre la fiction réelle et à disséminer la novlangue des chatbots dans la réalité. Comme le dit la sociologue australienne McKenzie Wark, celles et ceux qui créent l’abstraction ont une action indéniable sur le réel.

Aujourd’hui, la fiction comme la réalité, sont devenues un champ de bataille idéologique. À l’heure où l’intelligence artificielle nous dessaisit de nos mots, nous devons réaffirmer haut et fort que ses imaginaires sont obsolètes. Car l’enjeu n’est plus tant d’en construire de nouveaux que de les décoder, pour leur opposer les réalités et les limites de la vision de cette technologie, à la fois incroyablement complexe et incroyablement simpliste. Elle prétend qu’il suffit de calculer le monde pour le rendre opérant. Alors qu’en vérité, il nous faut disputer des fins et batailler des moyens.