Intelligence artificielle

Comment éviter les cas de discrimination tout en protégeant les données des utilisateurs ?

Date:
Mis à jour le 27/04/2022
Créée dans le cadre d’un partenariat de recherche entre Criteo et Inria, l’équipe-projet FAIRPLAY se donne pour mission d’étudier l’impact de l’IA sur la conception de places de marchés transparentes et équitables. Retour sur la genèse de cette équipe-projet commune Criteo – Inria – Institut Polytechnique de Paris et ses objectifs pour les prochaines années.
FAIRPLAY
© Inria / Photo C. Morel

Des données dépourvues d'informations sensibles, des discriminations persistantes

Comment apporter des informations pertinentes et personnalisées aux internautes, tout en ayant de moins en moins accès à leurs données personnelles ? Comment s’assurer qu’une publicité ou une offre d’emploi pourront être vues de façon non-discriminatoire par les personnes à qui elles sont poussées ? Des questions d’actualité, qui sont centrales pour l’organisateur de places de marché publicitaires Criteo, dont les outils sont ceux du machine learning.

Les données sont de moins en moins fournies, et elles sont de moins en moins précises, car des mécanismes (technologiques ou algorithmiques) sont mis en place pour les défaire de données dites sensibles – auxquelles Criteo n’a d’ailleurs pas accès – et être utilisées comme des critères discriminantsParallèlement, quand on exploite les données, les algorithmes peuvent détecter et renforcer des biais, même sans avoir accès à ces données sensibles des internautes

explique Vianney Perchet, chercheur chez Criteo, ainsi qu’au CREST, professeur à l’ENSAE Paris et co-responsable scientifique de l’équipe-projet Inria FAIRPLAY. « La question se pose aujourd’hui de savoir mesurer à quel point les algorithmes sont discriminants, tout en respectant la protection des données », ajoute-t-il.

Mais alors comment expliquer cette discrimination par les systèmes de machine learning, alors même que les données sensibles des utilisateurs sont protégées ? Plusieurs raisons expliquent cette problématique. D’abord, le fait de ne pas avoir accès aux données privées, comme le genre de l’internaute, ne garantit pas de ne pas avoir de discrimination -sur ce même critère-. « Il existe de nombreuses données non sensibles, qui sont extrêmement corrélées aux données jugées sensibles, comme les sites consultés par les internautes qui peuvent donner des indications sur le sexe de la personne qui consulte ces sites », explique Patrick Loiseau, chercheur Inria et co-responsable scientifique de l’équipe-projet. Autre problématique : les aspects multi-agents, qui rendent les choses plus difficiles. « Typiquement, dans un système d’enchères les décisions sont prises de façon asynchrones et décentralisées. La faute ne revient pas forcément au publicitaire, car la décision finale d’impression d’une publicité est le résultat d’une chaîne de décisions intermédiaires prises par différents agents », indique-t-il.

Une équipe-projet pour travailler sur la conception de places de marchés transparentes et équitables

Pour répondre à cette problématique, Inria, Criteo et le CREST (unité mixte de recherche CNRS-ENSAE Paris -ENSAI-Ecole polytechnique) ont décidé de travailler main dans la main au travers de la création d’une équipe-projet commune. Baptisée FAIRPLAY, cette équipe-projet est composée de cinq chercheurs académiques (Inria, ENSAE Paris et Ecole polytechnique) et de quatre chercheurs et ingénieurs de Criteo. Son crédo : étudier les problèmes d’apprentissage dans les systèmes multi-agents.

Verbatim

Il y a typiquement, dans la publicité, beaucoup d’agents qui apprennent en même temps et cela cause, inconsciemment, des discriminations, en particulier en ce qui concerne les « opportunités » (offres d’emploi, offres financières, etc.) poussées aux internautes.

Auteur

Patrick Loiseau

Poste

Co-responsable de l'équipe-projet Fairplay

Il a - par exemple - été prouvé que les femmes reçoivent des offres d’emploi en moyenne moins bien payées que les hommes.

L’objectif derrière le travail de l’équipe-projet est ainsi d’améliorer les systèmes automatiques de places de marché, mais également d’être en mesure de connaître le degré de discrimination de certains algorithmes, le tout en restant compatible avec les notions de protection de vie privée.

« Notre idée, c’est d’être proactifs dans la création de ces algorithmes et leur mise en place, pour les forcer à respecter des contraintes globales d’équité », indique Vianney Perchet. « On aborde cela à l’aide de la théorie des jeux, qui est un outil de modélisation des systèmes multi-agents qui permet d’évaluer la qualité des systèmes et de trouver des solutions », ajoute Patrick Loiseau.

Comme pour une équipe-projet classique, FAIRPLAY a été créée pour une durée de quatre ans, renouvelable. Elle sera hébergée à la fois au CREST et chez Criteo.

Télécharger le communiqué de presse dédié au partenariat entre Inria et Criteo