Racisme 2.0. Le web d’aujourd’hui est discriminant. Malgré lui. La faute aux algorithmes qui le régulent et tirent des automatismes de ce qu’ils croisent – ce qui s’appelle le machine-learning sur le net. Amazon, par exemple a demandé en 2016 à une intelligence artificielle de définir les lieux où la plateforme devait instaurer son service de « livraison gratuite le jour même ». Avant de s’en mordre les doigts.

Si l’algorithme d’Amazon n’a fait qu’analyser toutes sortes de données à propos de chaque quartier et d’ainsi définir les « plus aptes » à bénéficier du service de livraison, il n’a tout bonnement sélectionné aucun « black neigborhood » – quartier principalement peuplé d’afro-américains. Pourtant, la firme de Jeff Bezos le certifie, son algorithme n’a pas fait de la « race » un critère de sélection. Certes. Le problème vient plutôt des données qui lui ont été proposées. Elles lui ont fait apprendre involontairement la notion de racisme et de préjudice. Grâce à Thémis, cela ne devrait pas être le cas.

L’algorithme divin. Pour résoudre cet état de fait, les Pr. Alexandra Meliou et Yuriy Brun de l’université du Massachusetts ont développé une intelligence artificielle qui traque les algorithmes faisant preuve de discrimination – au même titre que son homonyme divin, que la mythologie grecque décrit comme une personnification de la Loi divine qui régit notre comportement.

Et Thémis est plutôt douée. L’un de ses premiers faits d’arme remonte au test, par les chercheurs, d’un service de crédit qui se voulait « spécialement créé pour combattre le sexisme ». De fait, c’était véritablement le cas : 50 % des prêts avaient été attribués à des hommes et l’autre moitié à des femmes. Mais il y a un mais. Quand Thémis s’est penché sur l’analyse géographique des attributions, il a décelé une forme persistante de discrimination : l’intégralité des femmes ayant reçu un prêt venaient du même pays.

L’algorithme de tous. « Les algorithmes se basent sur les big datas et essaient d’en apprendre quelque chose. Mais au fond, ils essaient juste de résoudre une formule mathématique. Et si cette formule indique qu’un nombre égal d’hommes et de femmes doivent recevoir un prêt, il trouvera un moyen d’arranger les choses pour arriver à ses fins » explique le Pr. Brun. C’est justement cette idée d’arriver à tout prix à apporter une réponse qui peut, in fine, causer l’erreur (involontaire, bien sûr) de l’algorithme.

Ce constat étant fait, l’excuse du « c’est pas moi c’est l’algorithme » n’est désormais plus valable. Les chercheurs ont mis Thémis à disposition de tous – journalistes, professionnels et internautes – ainsi qu’un tutoriel, car il incombe à chacun de combattre les injustices sur Internet. Amis développeurs, le téléchargement se passe ici.

Pour comprendre les ressorts de la haine actuelle envers les communautés ou classes sociales, la série de reportages « Pourquoi nous détestent-ils ? » est diffusée sur Planète + tous les lundis jusqu’au 11 décembre.