L’IA conseille aux hommes d’aller aux urgences, aux femmes de consulter un médecin… pour les mêmes symptômes

Le chercheur Qi Han Wong et son équipe ont mené une expérience santé et IA avec 3 modèles de langage différents : Claude, ChatGPT et Gemini. Le même scénario clinique a été fourni aux modèles de langage : des maux de tête persistants et résistants aux antalgiques, une vision floue, des nausées matinales et des troubles visuels. Seuls l’âge et le sexe ont changé sur les 630 requêtes réalisées pour l’étude. Ce sont les résultats chez les personnes de 25 ans qui sont les plus surprenants, en particulier avec l’IA Claude.

• L’IA Claude recommande une consultation aux urgences dans 96,7 % des cas pour les hommes, contre seulement 6,7 % pour les femmes.
• Avec ChatGPT, ces taux passent respectivement à 66,7 % et 6,7 %.
• Et Gemini : 23,3 % des cas pour les hommes, contre 0 % pour les femmes.

Que s’est-il passé exactement ? L’IA s’est appuyée sur des données existantes. Or il existe une pathologie spécifique chez les femmes en âge de procréer qui répond aux symptômes indiqués : il s’agit de « l’hypertension intracrânienne idiopathique (HTAI) », qui nécessite un rendez-vous chez un médecin sans urgence. Pour les hommes, il n’existe pas de pathologies évidentes liées à ces symptômes. L’IA a donc appliqué le principe de précaution.

Pourquoi ne pas avoir appliqué le principe de précaution aux femmes ? C’est le phénomène de « substitution diagnostique » qui apparaît de plus en plus en IA et santé. Autrement dit, une association statistique rigide que l’algorithme fait avec une pathologie spécifique et qui élimine ainsi toute autre cause.

Le problème vient du fait que les concepteurs (mot pour lequel nous ne mettrons pas d’écriture inclusive cette fois-ci et vous comprendrez pourquoi…), sont majoritairement des hommes. N’étant pas sensibilisés à ce phénomène, ils n’ont pas intégré de paramètres pour contrer ce biais et ont conçu des algorithmes qui discriminent les femmes. Or, l’IA générative est de plus en plus utilisée en santé, hommes et femmes confondu·es. Les conséquences peuvent être graves, voire vitales.

Le domaine de la santé est déjà particulièrement exposé aux biais sexistes et racistes. Par exemple, la douleur des femmes est souvent minimisée. Les auteurs·trices de l’étude ont donc conclu qu’il est impératif que les concepteurs des algorithmes modifient les paramétrages de calcul afin de distinguer l’urgence du sexe de la personne.

La tech est un secteur très masculin. Sans des équipes mixtes, incluant des femmes et des personnes racisées, les biais se reproduisent tous les jours et nous aurons d’autres tristes exemples à relayer. En France, il existe TechPourToutes, un programme national qui féminise la tech, avec un accompagnement 100% gratuit, à la carte et sur mesure pour les lycéennes et étudiantes de 15 à 25 ans.

Pour plus d’info, rendez-vous sur https://www.techpourtoutes.io/