« Il faut évaluer l’IA au delà de critères techniques »

Que vous inspire la fulgurante popularité de ChatGPT ?

La vitesse d’adoption est effarante, le nombre d’utilisateurs déjà astronomique. Mais que font ces centaines de millions d’individus devant les interfaces intelligentes ? On ne sait pas grand-chose des usages. Nous sommes tous dans une phase de découverte de ces outils révolutionnaires. Et tous abasourdis – y compris ceux qui développent la technologie – par les capacités nouvelles de traitement de l’information. Il est encore difficile d’en évaluer l’influence, les impacts sur la démocratie. En tant que chercheur au médialab de Sciences Po, ma collaboration au projet de recherche Communs démocratiques^[1] consiste à interroger les usages sociaux, au-delà des promesses technologistes. 

Comment s’entendre sur la qualité démocratique des usages quand certains réfléchissent à sonder une machine à la place des citoyens ? 

Avec les Grands modèles de langage (LLM), on dispose d’assistants qui peuvent, à toute vitesse, analyser, synthétiser, extraire des caractéristiques d’un grand volume de textes, avec une bonne qualité interprétative. À la place d’un questionnaire Google Form, on peut automatiser des entretiens afin de clarifier et reformuler la question, individualiser l’enquête. Certains vont effectivement jusqu’à imaginer se passer des enquêtés en les remplaçant par les LLM, car l’IA disposera des données pour dire ce que pense tel ou tel segment de population [lire en encadré]. Des recherches, aux États-Unis, entrainent ainsi la machine à s’exprimer à la place de groupes humains difficiles à mobiliser comme « les jeunes latinos gay au chômage qui vivent en Arkansas ». 

On voit bien le saut technique, mais quel est l’avantage démocratique ? 

C’est la question posée par le projet Communs démocratiques, qui s’intéresse surtout aux usages de l’IA dans les dispositifs délibératifs [lire l’entretien avec Axel Dauchez, dirigeant de Make.org]. Prenons un usage clé : le résumé automatique des débats. Les informaticiens qui développent ces systèmes disposent de critères reconnus pour mesurer et comparer les performances. Ces benchmarks techniques font autorité et, même s’ils sont peu interrogés sur les conditions de leur construction, ce sont aujourd’hui les seules grilles d’analyse dont on dispose. Pourtant, comment caractériser une synthèse automatique ou une traduction dans un espace social telle qu’une convention citoyenne où le pluralisme des opinions doit être respecté, où personne ne doit être invisibilisé ? Il faut établir de nouveaux benchmarks, non pas techniques mais conformes à des principes spécifiques. Deux entités de Science Po s’impliquent dans ces travaux : le Cevipof apporte un cadrage de philosophie politique, tandis que le médialab enquête auprès des citoyens utilisateurs. In fine, il faudra parvenir à transposer les bonnes pratiques dans des tests permettant aux informaticiens de mettre les LLM à l’épreuve. Cela suppose de traduire ces principes sous forme d’exemples pratiques, comme on le fait pour les biais de genre en vérifiant comment la machine traduit par exemple l’anglais « nurse » :  infirmier ou infirmière ? 

De quelles façons associez-vous les citoyens à vos travaux ? 

Nous réalisons des ethnographies numériques en analysant les interactions des participants avec les LLM. À quel moment leur doigt reste-t-il suspendu au-dessus du clavier parce qu’ils sont surpris par la réponse du robot ou qu’ils sont en désaccord avec le traitement automatique de leur contribution ? Nous voulons savoir comment ils perçoivent ces usages, recueillir leur critique.

Le défi des dispositifs participatifs est de mobiliser les gens en nombre et en diversité. Les plateformes, aujourd’hui discriminantes, peuvent tirer parti des capacités de l’IA à assister les usagers en reformulant les contributions de ceux qui ne sont pas à l’aise avec l’écrit, ou avec le français. Mais comment cela est-il vécu ? 

Par ailleurs, l’IA est capable de restituer en direct les principaux points d’entente dans un débat^[2]. Est-ce-raisonnable de déléguer à la machine ce travail sur le consensus simplement parce qu’elle le fait très vite ?  La machine doit aider les citoyens à agir, pas les priver du temps de mûrir leur réflexion. 

La promesse de l’IA dans le champ délibératif est aussi de permettre aux dispositifs de passer à l’échelle. Encore faut-il s’assurer que les gens apprécient les outils. Ces derniers créent-ils de la confiance ou un sentiment de dépossession ? 

La qualité démocratique d’une machine ne se définit-elle pas dans sa collaboration avec l’humain, notamment par le pouvoir des citoyens de valider toute production automatique ? 

C’est certainement un impératif. De même que l’on peut affirmer que la machine, toujours un peu langue de bois et donneuse de leçons, ne sera jamais aussi fine qu’un humain pour modérer un débat. Le bon usage des IA ne vise pas à remplacer les gens. Mais gardons-nous aussi des fantasmes… Je me méfie des sciences sociales qui restent à distance des technologies pour les critiquer. Je crois qu’il faut aimer les outils, les ouvrir, les disséquer. C’est par cette expérience un peu intime que l’on parvient à une critique informée. C’est l’approche du médialab, avec une équipe pluridisciplinaire de sociologues, de designers et d’ingénieurs qui développent des outils numériques pour nous aider à enquêter sur le social.

Propos recueillis par Valérie Urman