Machine learning : la prédiction est-elle conservatrice ?

En 2016 est parue une étude de ProPublica sur un logiciel de prédiction comportementale utilisé dans le domaine de la justice, pour évaluer la probabilité qu’ont les accusés de faire récidive. Le résultat est clair : les résultats de l’algorithme COMPAS sont racistes. Ce résultat, loin de surprendre, s’inscrit dans une lignée de biais dans les logiciels de machine learning. On pense à Amazon qui avait créé un logiciel pour embaucher du personnel sur la base des dossiers des employés actuels, qui n’embauchait presque que des hommes, ou le logiciel de reconnaissance faciale de IBM, qui reposant sur la base d’un modèle de binarité de genre excluait de sa base de données les personnes ne rentrant pas dans cette classification. Une fois passé le questionnement sur des problèmes liés au logiciel, il est apparu que le problème relevait des données injectées dans le machine learning. Ces résultats sexistes et racistes mettaient en lumière les biais de société, et sa perpétuation au travers de leur méthode prédictive (Crawford, 2021). Il s’agira ainsi d’étudier les implications de l’utilisation de la méthode prédictive propre aux sciences dures en sciences sociales. En quoi est-ce problématique en termes de production de connaissances, et en quoi cela perpétue-t-il un monde passé ? L’étude de ProPublica sur les logiciels prédictifs de récidive criminelle permettra d’illustrer les problèmes que soulève l’utilisation du machine learning en termes de production de connaissances biaisées.

Internet et traces numériques : le numérique intervient sur le monde social

Avant de se pencher plus précisément sur le machine learning, il s’agit de comprendre les enjeux épistémologiques qui émergent du tournant numérique dans notre société. Celui-ci a produit une fracture dans nos manières d’interagir et de nous informer, par le biais d’entités telles que Wikipédia, Google et Facebook. Plus largement, il a changé nos pratiques, participant à des remédiations des relations sociales telles que Boris Beaude les décrit, en tant que le numérique reconfigure en profondeur nos relations sociales (Beaude, 2017). Ceci au travers d’Internet, qui, en tant qu’environnement pervasif et hyperconnecté, permet une démultiplication des relations entre individus :

L’espace a considérablement changé, dès lors qu’il permet des synchôrisations inédites, du local au mondial, comme autant de contacts potentiels entre les individus malgré l’étendue qui les sépare. Avec la généralisation de la connexion, à travers de nouvelles opportunités relationnelles, c’est l’être au Monde qui évolue dans son ensemble.

(Beaude, 2012 : 242)

Ainsi « l’être au Monde » évolue dans un environnement rhizomatique, Internet, qu’il est important d’appréhender comme un espace. Nous nous éloignons ici d’une vision aristotélicienne du lieu fixe et stable, topos, pour rejoindre la conception platonicienne de la chôra, l’espace existentiel, en relation à son environnement et ce qui le constitue. ¹ L’espace est donc vu comme relatif par rapport à un autre. En somme, Internet permet un contact réticulaire entre les différentes entités qui le constituent, révolutionnant notre rapport au monde et aux autres (Beaude, 2017). Dans cet espace donc, nous interagissons et agissons; cela laisse des traces. Ces traces numériques provoquent une perturbation épistémologique en ceci qu’elles prolifèrent et produisent des données du monde social, impactant les pratiques scientifiques. Toutefois, elles ne sont pas initialement récoltées pour collecter des données pour des recherches en sciences sociales. Elles sont, d’abord, utilisées à des fins commerciales. Dans des espaces où les traces prolifèrent comme sur Google ou Facebook, nos traces sont utilisées afin de nous proposer du contenu individualisé, la publicité ciblée. C’est là un réel raffinement du modèle économique via Internet, où l’enjeu de connaissance est utilisé pour générer du profit. De même, les traces numériques sont utilisées à des fins politiques, comme l’illustre la fuite de 1.1 To de données de Deep Root Analitycs en 2017, qui avait permis au Parti républicain d’accéder aux données sur les informations personnelles, convictions religieuses et probabilités qu’avaient 200 millions d’Américains d’adhérer à diverses données politiques. ² La quantité colossale de données collectées était sans précédent, mais c’est surtout la question du pourquoi qui a créé tant de controverses : à quelles fins étaient récoltées autant de données personnelles sur les individus ? Cet élément est particulièrement important en ceci qu’il pose la question de la prédiction comportementale.

La prédiction et les sciences sociales

Avant de se plonger dans l’actualité de l’utilisation de la prédiction sur le monde social, il paraît important de revenir sur le positivisme théorisé par Auguste Comte au XIXe siècle. Dans son Discours sur l’esprit positif (1844), celui-ci expose sa pensée empirique qui consiste à observer les relations entre les choses, reposant sur une accumulation de faits corrélés. ³ En bref, son dessein est de transposer la méthode prédictive propre aux sciences « dures » au monde social :

Ainsi, le véritable esprit positif consiste surtout à voir pour prévoir, à étudier ce qui est afin d’en conclure ce qui sera, d’après le dogme général de l’invariabilité des lois naturelles.

(Comte, 1844 : 17)

Le caractère problématique de sa théorie est cette « invariabilité des lois naturelles » qu’il transpose au monde social, de la même manière que le fait Pentland dans sa théorisation des Social Physics en 2016. La prolifération des traces numériques lui permet de réactualiser le projet de Comte, alimentant ses fantasmes de prédiction de crises financières, de maladies infectieuses, etc. (Pentland, 2016). Il néglige par là le caractère performatif qu’une prédiction sur le monde social peut avoir. C’est là la différence entre les sciences interactives et non interactives telles que décrites par Ian Hacking : l’objet des sciences non interactives ne se retrouvera pas changé une fois qu’on a produit un énoncé sur lui, contrairement à l’objet des sciences interactives, à savoir le monde social (Hacking, 1999). Le monde social repose sur des relations dynamiques et mouvantes qui ne peuvent difficilement être fixées au travers d’une prédiction comportementale, puisqu’une fois qu’on définit une loi, les acteurs sociaux ont tendance à changer leur comportement. C’est le principe de la « loi de Goodhart », qui stipule qu’à partir du moment où on définit une loi du monde social, on la casse, revenant à dire que le fait d’énoncer une loi l’annule au moment même de son énonciation (Beaude, 2017).
Cela permet de mettre l’accent sur le fait qu’il ne s’agit pas de relations entre entités, mais entre des entités agissantes, ce qui va à l’encontre des promesses d’une « data-driven society » de Pentland. En effet, il incombe de se demander quel régime d’agentivité il propose aux individus avec une telle dénomination. Dénaturaliser le monde social est l’enjeu au centre des SHS, qui cherchent à s’éloigner d’un déterminisme essentialisant les individus. La notion d’habitus de Bourdieu permet notamment de relever le fait que des dynamiques sociales peuvent se reproduire alors qu’elles ne sont pas naturelles. Ainsi, loin de sortir d’une approche essentialisante, la physique sociale telle que prêchée par Pentland tend à naturaliser le monde social, objectivant les individus qui deviennent objets de prédiction au travers du machine learning.

De la sorte, nous nous trouvons à nouveau face à l’idée d’un savoir dont l’objectivité pourrait paraître absolue, puisqu’il serait éloigné de toute intervention subjective.

(Rouvroy, 2013 : 170)

Rouvroy met en exergue la différence de statut qu’on octroie à un être humain, doté de subjectivité, et celui qu’on attribue aux technologies IA, dont la structure algorithmique leur donne une autorité absolue. Cela permet à Rouvroy de mettre en garde l’utilisation de cette technologie dans le domaine juridique, ainsi que des risques encourus à prendre des décisions basées sur un traitement de données automatisées, comme c’est le cas dans l’étude de ProPublica que nous allons aborder. On pourrait alors aller jusqu’à qualifier ce processus de double objectivation, le sujet étant objectivé par le domaine de la justice, puis objectivé par un logiciel qui participerait à un écrasement du sujet devenu une suite de données binaires.
Le fonctionnement du machine learning, basé sur des corrélations, pourrait être toutefois efficient, mais il doit alors respecter les pratiques scientifiques de recherche et le principe de réfutation d’une théorie scientifique (Rouvroy, 2013). Le doute scientifique est essentiel à la bonne pratique des sciences, il est alors nécessaire de ne pas prendre des décisions juridiques basées uniquement sur les résultats de corrélation, ce qui, nous allons le voir, n’est pas le cas de l’étude sur l’algorithme COMPAS.

La prédiction dans le domaine de la justice : le cas de l’algorithme de Northpointe, Inc.

L’étude de ProPublica parue en 2016 sur le logiciel COMPAS⁴, développé par l’entreprise Northpointe, Inc., est le logiciel de ce type le plus utilisé aux États-Unis. ⁵ Ce logiciel, nous l’avons vu, consiste à calculer les risques de récidive d’individus inculpés. Cet outil est largement utilisé aux États-Unis lors de procès et le Justice Departement National Institute of Corrections en encourage même l’utilisation lors de diverses étapes du procès : les juges regardent si le risque de récidive est élevé afin d’ajuster les paramètres de la peine encourue. L’algorithme, au contraire des exemples que nous avons vus précédemment, ne se base pas sur des traces numériques des inculpés. Lors de leur arrestation, une série de questions sont posées aux accusés, telles que leur niveau d’éducation, s’ils ont un emploi, si leurs parents ont déjà été incarcérés, etc. Les données sont ainsi récoltées et injectées dans l’algorithme qui calcule alors le taux de risque de récidive. Les résultats révèlent que le logiciel a tendance à prédire faussement que les personnes afro-descendantes présentent un haut risque de récidive, et à l’inverse il prévoit de manière erronée que les personnes caucasiennes ont moins de probabilité de récidiver, révélant ainsi un biais raciste dans les résultats de l’algorithme. ⁶

Cette étude met en lumière de nombreux problèmes tels que le fait que Northpointe, Inc. ne rende pas publics les calculs des probabilités, le logiciel étant leur propriété. ⁷ L’inculpé ne peut alors prendre connaissance de tous les éléments ayant joué un rôle dans son jugement, lui ôtant toute agentivité. Nous avons donc affaire à la double objectivation du sujet comme analysée ci-dessus. Mais cet élément se révèle être aussi extrêmement problématique en termes de production de connaissances et de personnes légitimes à accéder à des données d’ordre social afin d’en dégager un sens intelligible. Comme le soulignent danah boyd et Kate Crawford, c’est un problème qui est largement observé dans le domaine des SHS : les données sont dans les mains d’entreprises commerciales qui refusent d’en donner l’accès aux chercheurs. Elles exercent alors un pouvoir sans précédent sur ces données (boyd & Crawford, 2012).
En outre, l’article de ProPublica rélève que très peu d’études ont été faites au préalable sur ce logiciel, testant surtout la validité du résultat, ce qui ne permettait pas de révéler le biais raciste, car autant les personnes afro-descendantes que les caucasiennes présentaient un taux d’erreur similiaire. En effet, les personnes racisées récidivaient moins que ce que l’algorithme prédisait, et à l’inverse, les personnes caucasiennes récidivaient plus que ce qui avait été prédit. Le logiciel produisait donc des résultats erronés, mais qui relevaient d’un biais raciste, sous-entendant que les personnes afro-descendantes étaient plus dangereuses que les caucasiennes. Ces données, qui relèvent d’un enjeu épistémologique sur le monde social, sont manipulées par des physiciens et mathématiciens, qui ignorent les théories de SHS et appliquent alors des tests corrects en termes de validité et accuracy des sciences « dures », mais qui passent à côté des potentiels problèmes éthiques et sociaux d’un tel logiciel. De plus, ces données sont ensuite données à voir à des juges et autres acteurs du domaine de la justice qui ignorent les détails du calcul et utilisent les résultats sans réflexivité et sans vérification (alors qu’en moyenne le logiciel n’est correct que dans environ 60% des cas). D’un point de vue méthodologique, cela pose problème en termes de production de sens et d’intelligibilité des connaissances (Cardon, 2015).

Une société qui ne peut pas changer

Ainsi, au travers de leurs tests de validité, les développeurs de COMPAS avaient peut-être réussi à s’assurer du bon fonctionnement technique du logiciel, mais ils sont passés à côté du problème central de résultats biaisés, étant donné que le biais n’est pas de nature algorithmique, mais sociétale. Les États-Unis rencontrent de nombreux problèmes de racisme, qui se reflètent dans les arrestations policières. ⁸ De fait, les personnes afro-descendantes sont plus souvent arrêtées, au vu du racisme structurel qu’on retrouve au sein de la police. Ainsi, la proportionnalité d’infractions commises par des personnes afro-descendantes se trouve biaisée. Un tel constat ne peut malheureusement émerger des machines learning, qui ne peuvent procéder à une interprétation des résultats (Boelaert, 2018).
Un autre problème subsiste avec la méthode prédictive comportementale. La prédiction repose sur une observation du passé. Des phénomènes reposant sur des relations stables sont étudiés afin de produire des lois en physique. Comme il a été abordé, il est problématique d’appliquer cela au monde social, car cela laisserait supposer qu’on puisse retrouver une situation identique. De plus, cela perpétue un monde passé : puisque le machine learning se nourrit des données du passé, elle reproduit les inégalités sociales et empêche le changement propre à la société.

Conclusion : pour une réappropriation du machine learning

Cette brève analyse de la méthode prédictive appliquée au monde social a permis de dégager divers aspects problématiques de celle-ci. La société ne peut être considérée comme agissant de manière stable et déterminée, et sa constante évolution rend obsolètes (ou du moins dépassées)  les données du passé injectées dans les machines learning, ne permettant pas à cette technologie de proposer des résultats éthiques. La prolifération de traces numériques offre une masse de données sur les individus sans précédent, objet de connaissance massif, mais manipulé par des personnes hors du domaine des SHS, ayant comme effet un manque de réflexivité autour de ces données. Ceci fait alors obstacle à l’intelligibilité de celles-ci, étape d’interprétation des résultats vitale pour en dégager un sens adéquat, et permettre ainsi une meilleure compréhension du monde social et en stimuler le changement. Cette utilisation erronée de cette technologie permet toutefois, après avoir été étudiée dans le domaine de la recherche en SHS, de révéler les biais de société qui persistent encore. Il s’agirait alors pour les SHS de se réapproprier cette technologie (par détournement) afin de rendre intelligible ce que révèlent les résultats des machines learning, tout en gardant à l’esprit que la machine peut être un appui, mais qu’elle ne remplacera jamais la réflexion humaine.

Bibliographie

Ouvrages et articles en ligne

Beaude, Boris. 2012. Internet. Changer l’espace, changer la société, FYP.

Beaude, Boris. « (re)Médiations numériques et perturbations des sciences sociales contemporaines », in Sociologie et sociétés, vol. 49, n°2, fall 2017, pp. 83–111.

Beaude, Boris. 2015. « Spatialités algorithmiques », in Severo M. et Romele A (dir.), Traces numériques et territoires, Les débats du numérique, Presses des Mines, pp. 133-160.

Boelaert, Julien et Ollion, Étienne. 2018. “The Great Regression Machine learning, econometrics, and the future of quantitative social sciences”, in Revue française de sociologie, vol. 59, n°4, pp. 475-506.

Boullier, Dominique. 2015. « Les sciences sociales face aux traces du big data », in Revue française de science politique, vol. 65, n° 5, pp. 805–828.

Bourdieu, Pierre. 1980. Le Sens pratique, Minuit.

boyd, danah et Kate Crawford. 2012. « Critical questions for big data« , in Information, Communication & Society, vol. 15, n°5, pp 662–679.

Cardon, Dominique. 2015. A quoi rêvent les algorithmes, Seuil.

Comte, Auguste. 1995 (1842). Discours sur l’esprit positif, Librairie philosophique J. Vrin.

Crawford, Kate. 2021. Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence, Yale University Press.

Hacking, Ian. 1999. The Social Construction of What?, Harvard University Press.

Jensen, Pablo. 2018. Pourquoi la société ne se laisse pas mettre en équations, Seuil.

Krivine, Hubert. 2018. Comprendre sans prévoir, prévoir sans comprendre, Cassini.

Lazer, David et al. 2014. « Big data. The parable of Google Flu: traps in big data analysis« , in Science, 343, 6176, pp. 1203–1205.

Nordberg, Anne et al. 2018. “Precarity and structural racism in Black youth encounters with police”, in Child and Adolescent Social Work Journal, 35, pp. 511–518.

Pentland, Alex. 2014. Social Physics: How Good Ideas Spread-The Lessons from a New Science, The Penguin Press.

Rouvroy, Antoinette et Thomas Berns. 2013. « Gouvernementalité algorithmique et perspectives d’émancipation », in Réseaux, vol. 1, n°177, pp. 163–196.

Articles de presse

Angwin, Julia, Larson, Jeff, Mattu, Surya, Kirchner, Lauren, ProPublica. 2016. Machine Bias. Risk assessments in criminal sentencing. Adresse:
https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing, consulté le 09.10.22.

Angwin, Julia, Larson, Jeff, Mattu, Surya, Kirchner, Lauren, ProPublica. 2016. How We Analyzed the COMPAS Recidivism Algorithm. Adresse:
https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm, consulté le 09.10.22.

Shepherd, Adam. 2017. Marketing firm leaks 200m US citizens’ personal data. Adresse: https://www.itpro.co.uk/security/28881/marketing-firm-leaks-200m-us-citizens-personal-data, consulté 09.10.22.

1. L’opposition « salle de classe » et « classe sur zoom » permet d’illustrer clairement la différence entre topos d’une part, et chôra.
2. https://www.itpro.co.uk/security/28881/marketing-firm-leaks-200m-us-citizens-personal-data
3. Google Flu Trends permet d’illustrer la méthode de corrélation qui permet de quantifier la relation entre des données. C’était un logiciel qui prédisait les zones géographiques affectées en fonction du nombre de recherches sur Google. Cela s’est révélé être un échec comme l’observe cet article : Lazer, David et al. 2014. « Big data. The parable of Google Flu: traps in big data analysis », in Science, 343, 6176, pp. 1203–1205.
4. Acronyme signifiant Correctional Offender Management Profiling for Alternative Sanctions
5. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
6. https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm
7. ProPublica a eu accès à des facteurs basiques de la formule, mais pas aux calculs spécifiques, ne pouvant observer que partiellement la formule.
8. Nordberg, A., Twis, M.K., Stevens, M.A. et al. Precarity and structural racism in Black youth encounters with police. Child Adolesc Soc Work J 35, 511–518 (2018).