1. Introduction : des armes de destruction mathémassives

Un modèle est une version simplifiée du monde qui nous permet de prendre des décisions. Un exemple inoffensif est celui que nous avons en tête pour déterminer ce que nous allons préparer pour le dîner. Il comprend des paramètres tels que ce que nous avons mangé lors des repas précédents ou encore la nécessité de manger des fruits et des légumes tous les jours.

Pour être opérationnel, notre modèle doit également réduire le champ des possibles en focalisant notre attention sur les plats que nous avons aimés par le passé. Si nous en avions l’envie et les compétences, nous pourrions traduire ce modèle en langage mathématique. À partir des données pertinentes, l’algorithme générerait pour nous le dîner idéal. Un algorithme est une suite d’instructions en vue d’obtenir un résultat. En l’occurrence, on pourrait imaginer des instructions du type: « Vérifier s’il y a eu du poulet au dîner la veille. Si oui, exclure le poulet du menu du dîner de ce soir. Vérifier s’il y a eu du bœuf au dîner la veille...etc. »

Les choses deviendraient problématiques si, convaincus d’avoir le secret du régime alimentaire parfait, nous décidions d’imposer notre modèle à l’ensemble de l’humanité...

Les modèles mathématiques analysés par l’auteur au fil de l’ouvrage naissent souvent des meilleures intentions : faire disparaître les préjugés des procédures de recrutement, protéger la société des prisonniers susceptibles de récidiver, déployer les patrouilles de police là où les crimes risquent d’être commis…

Mais derrière des formules mathématiques intimidantes se cachent, en définitive, les préférences économiques, politiques et morales de ceux qui les conçoivent. Or, le passage par les mathématiques contribue à rendre ces choix inaccessibles et indiscutables. C’est d’autant plus inquiétant que certains modèles ont une influence si grande et si néfaste qu’on peut parler d’armes de destruction mathémassives. Partons à leur rencontre.

2. Quand la police interviendra avant les crimes

Le modèle PredPol (police prédictive) partait d’une bonne idée : déployer les unités de police là où les crimes ont le plus de chance de se produire. Pour ce faire, l’algorithme analyse les crimes passés, croise ces données avec les facteurs qui attirent les criminels (magasins de nuit, distributeurs de billets…) et ressort un quadrillage des zones à risque. En patrouillant dans ces zones, les policiers augmentent leur chance d’intercepter les criminels. Et cela semble fonctionner : les villes ayant adopté ce dispositif, comme Atlanta ou Los Angeles, ont observé une baisse de la criminalité. C’est ici que l’exercice d’esprit critique que nous propose l’auteur est précieux.

Certains délits, note Cathy O’Neil, comme l’ivresse publique ou la possession de drogue, passent inaperçus sans policiers pour les constater. D’où le cercle vicieux : plus les policiers constatent d’infractions dans les quartiers pauvres, plus les prédictions de l’algorithme sont confirmées et plus on y déploie de forces de l’ordre.

On pourrait, bien sûr, objecter qu’il n’y a pas de raison de fermer les yeux sur certains délits sous prétexte que cela serait stigmatisant. L’auteur nous invite alors à changer de perspective : si, au lieu de viser systématiquement les crimes commis par les plus pauvres, les forces de l’ordre se focalisaient sur les crimes commis par les plus riches ? (évasion fiscale, notamment). Le taux de criminalité des quartiers aisés augmenterait alors de façon mécanique. Comme le note l’auteure : « La police choisit où elle dirige son attention. Aujourd’hui, elle se focalise exclusivement sur les pauvres. C’est son héritage et sa mission. Désormais, des experts en données encodent cet ordre social dans des modèles mathématiques qui, comme PredPol, contrôlent de plus en plus nos vies » (p. 91). Nous ne sommes pas égaux face aux modèles mathématiques. Cela se vérifie également derrière les barreaux...

3. Quand le juge sera un robot

Aux États-Unis, les citoyens noirs ou hispaniques écopent généralement, à crime égal, de sentences plus lourdes que les citoyens blancs. Ces jugements sont notamment basés sur l’intuition, plus ou moins étayée, que les individus issus de ces minorités ont plus de chances de récidiver. Partant de ce constat, le modèle LSI-R vise à évaluer plus objectivement le risque de récidive.

Pour ce faire, le modèle s’appuie notamment sur les réponses des prisonniers à un long questionnaire. Les premières questions sont directes: « avez-vous déjà récidivé ? » ou encore « quel rôle ont joué les autres dans l’infraction ? L’alcool ou la drogue y étaient-ils pour quelque chose ? ». Les questions suivantes révèlent, en revanche, un biais : « Quand avez-vous eu un problème avec la police pour la première fois ? ». On notera, en effet, que les noirs et les hispaniques ont beaucoup plus de chance d’être contrôlés par la police.

De même, le modèle considère comme un risque accru de récidive la présence de personnes déjà condamnées dans l’entourage du prisonnier. On voit alors, une nouvelle fois, apparaître un cercle vicieux : ceux qui viennent des environnements les plus défavorisés passeront plus de temps en prison, avec l’impact destructeur que cela peut avoir et, lorsqu’ils sortiront, ils retourneront dans un milieu où le risque de récidive est effectivement plus important. S’ils récidivent, ils confirment le jugement du modèle à leur égard. Pas de progrès de la justice en vue, donc. Et peut-être même un risque de régression.

Si, dans un procès, l’avocat de l’accusation mettait en avant le fait que l’oncle du suspect avait également été condamné, il serait rapidement remis à sa place: on juge un homme sur ses actes et non sur sa famille. Or, dès lors que de tels critères sont enrobés de mathématiques, il n’y a plus personne pour crier « Objection votre honneur ».

4. Quand nous serons recrutés par des algorithmes

Étude après étude, la tendance se confirme : les discriminations à l’embauche, notamment sur la base du patronyme, sont légion. Et si l’impartialité des mathématiques permettait d’y mettre un terme ? C’est là ce que propose Kronos, un des leaders mondiaux des ressources humaines : sélectionner sur la base des compétences et non de la naissance. Voyons, avec l’auteur, comment cela fonctionne.

Pour déterminer si un candidat a le bon profil, on lui demande de passer un test de personnalité. Le programme identifie alors des motifs (pattern) dans ses réponses. Un premier problème vient du fait que les participants n’ont pas la possibilité de comprendre ce que l’on attend d’eux. Par exemple, comment faire bonne figure si on vous donne le choix entre : « J’ai du mal à être de bonne humeur quand il y a beaucoup de problèmes à régler » et « Parfois, j’ai besoin d’être un peu poussé pour me mettre au travail ».

Ces questions sont notamment posées dans le processus de recrutement chez McDonald’s aux États-Unis. Cela révèle un autre aspect sombre du recours aux modèles mathématiques dans le recrutement : leur fonction est d’exclure un maximum de candidats à moindre coût. Cela laisse présager d’un monde où seuls les plus privilégiés auront le droit d’être soumis au jugement des hommes. De plus, en cas d’échec, les candidats n’ont pas moyen de savoir d’où vient le problème. Enfin, et c’est, tout aussi inquiétant, le programme n’a pas moyen de savoir s’il a pris une mauvaise décision : on ne saura jamais si le candidat rejeté était en réalité compétent. C’est, bien sûr, le cas dans les processus de sélection traditionnels. Mais l’automatisation pourrait avoir un effet pernicieux.

En effet, le modèle conçu par Kronos exclut systématiquement les mêmes profils. Ce faisant, il contribue à créer un monde où un certain type de personnes n’aura pas accès à l’emploi. Et ce, sans que ces derniers n’aient le moindre recours. Pour cause, les algorithmes ont des secrets de fabrication protégés par des armées d’avocats.

Celui qui pense être victime d’un mauvais jugement ne fait pas le poids : « Un algorithme traite une série de statistiques et en ressort la probabilité qu’une personne soit une mauvaise recrue, un emprunteur à risque, un terroriste ou un enseignant médiocre. Cette probabilité est exprimée sous la forme d’un score qui peut bouleverser la vie de quelqu’un. Et pourtant, lorsque la personne réagit, présente des contre-arguments, cela ne suffit pas. Les victimes humaines sont soumises à une exigence de preuve bien plus élevée que les algorithmes eux-mêmes » (p.10).

5. Quand les algorithmes influenceront nos votes

Traditionnellement, pour convaincre une majorité d’électeurs, les professionnels de la politique doivent s’efforcer de satisfaire des sensibilités différentes. Dans cette perspective, une méthode consiste à tenir des propos si généraux qu’ils ne blessent personne.

La plupart des slogans de candidats à la présidentielle participent de cette stratégie: « La France présidente », « ensemble, tout devient possible ! »,etc. La limite est, bien sûr, que la plupart des électeurs y voient de la langue de bois. Une autre stratégie consiste à adapter le discours en fonction des auditoires. Là encore, la stratégie n’est pas optimale: ceux qui s’y adonnent risquent d’être pris en flagrant délit de duplicité. L’idéal serait d’adresser un message personnalisé à chaque électeur sans que cela ne se sache…

À cet égard, le marketing dispose d’une avance confortable sur la politique. Par exemple, si les supermarchés nous proposent de cumuler des points en l’échange de quelques euros de remise, ce n’est pas seulement pour nous inciter à revenir chez eux. L’objectif est d’analyser nos comportements afin de nous offrir des promotions ciblées. L’opération est réussie s’ils parviennent à habituer certains consommateurs à la gamme supérieure d’un produit en les attirant avec des bons de réduction.

De même, si Facebook nous incite à partager nos goûts et nos humeurs, c’est pour vendre ces informations à des annonceurs désireux de mieux nous connaître. Jusque très récemment, la politique et le marketing étaient deux mondes différents. La digue est en train de céder.

En 2015, le Guardian révélait qu’une entreprise d’analyse de données politiques, Cambridge Analytica, avait payé des chercheurs pour amasser des données sur les électeurs américains en scannant leurs profils Facebook. Ils utilisèrent ces données pour dresser le profil psychologique de 40 millions de votants. Ces données furent utilisées dans la campagne présidentielle américaine pour proposer des spots personnalisés aux électeurs. Outre les risques de manipulation, cette application du marketing ciblé à la politique pose le problème de la polarisation. En effet, plus on enferme les électeurs dans des bulles d’informations sélectionnées pour leur plaire, moins on leur donne l’opportunité de mettre à l’épreuve leurs croyances.

6. Conclusion : un manuel pour le citoyen du XXIe siècle

Au terme de ce parcours, nous mesurons l’enjeu qu’il y a à nous informer sur ces algorithmes que nous croiserons bientôt sur les chemins de l’école, du travail et du bureau de vote. Récapitulons donc, pour finir, les signaux qui doivent nous alerter sur le potentiel destructeur d’un algorithme.

Premièrement, les mauvais algorithmes sont opaques. Si, dans une procédure de recrutement ou d’évaluation, vous devez remplir un questionnaire, vous avez le droit savoir comment ces données seront utilisées. Si on refuse de vous éclairer ou si on cherche à noyer le poisson (« l’évaluation est le résultat d’un calcul complexe prenant en compte de nombreux paramètres »), vous êtes probablement en présence d’un mauvais algorithme qui mérite d’être dénoncé.

Deuxièmement, les mauvais algorithmes n’apprennent pas de leurs erreurs. Si l’algorithme d’Amazon se mettait à recommander des livres sur l’entretien des tondeuses à gazon à des adolescentes de 15 ans, cela entrainerait une baisse anormale du nombre de cliques, et l’erreur serait vite rectifiée. L’algorithme qui suggère de maintenir un individu en prison n’a pas de moyen comparable de vérification. Celui qui suggère de refuser un candidat non plus.

Enfin, et c’est dans doute le plus inquiétant, les mauvais algorithmes contribuent à créer une réalité qui confirme leurs prédictions. Sur ce dernier point, l’auteur rapporte une anecdote qui doit nous interpeler. Une équipe de chercheurs développa, à Chicago, un modèle mathématique pour aller plus loin que PredPol. Cet outil permettait de générer une liste des 400 individus les plus susceptibles de commettre un crime violent. Sur cette liste figurait un jeune homme de 22 ans, Robert McDaniel. Un jour d’été 2013, les policiers débarquèrent à son domicile pour lui dire qu’ils gardaient un œil sur lui. La présence de McDaniel sur une liste de criminels potentiels repose, vraisemblablement, sur des indices raisonnables.

Et pourtant, l’injustice est criante : il risque d’être condamné pour de petits délits qui passeraient inaperçus chez la plupart des jeunes de son âge. Et s’il commettait effectivement un délit, l’algorithme verrait sa prédiction vérifiée. D’aucuns pourraient alors penser qu’il serait judicieux d’étendre l’expérience à d’autres villes et à d’autres pays…

7. Zone critique

Cet ouvrage mérite sans aucun doute votre attention. En le lisant, il convient cependant de garder à l’esprit que Cathy O’Neil s’inscrit dans une démarche militante. Un auteur d’un autre bord idéologique pourrait nous conter une histoire bien différente : s’il est vrai que la police prédictive cible systématiquement les quartiers défavorisés, le fait est que le système a permis une baisse de la criminalité ; s’il est vrai que les procédures automatisées de recrutement présentent des biais, elles permettent aux entreprises d’économiser beaucoup de temps et d’argent...

Ceci dit, Cathy O’Neil ne cache à aucun moment son parti pris en faveur des plus défavorisés. Elle le revendique même : son objectif est de prouver au lecteur qu’aucun modèle mathématique n’est neutre et qu’il est légitime d’en questionner les fondements. Dans cette optique, cet ouvrage est un outil précieux.

8. Pour aller plus loin

Ouvrage recensé– Cathy O’Neil, Algorithmes : la bombe à retardement, Paris, Les Arènes, 2018.

Autres pistes– Laurent Alexandre, La guerre des intelligences, Intelligence artificielle versus intelligence humaine, Paris, JC Lattès, 2017.– Yuval Noah Harari, Homo Deus. Une brève histoire de l’avenir. Paris, Albin Michel, 2017.– Jean-Claude Heudin, Comprendre le Deep Learning: Une introduction aux réseaux de neurones, Science e-Book, 2016. – Stéphane Mallard, Disruption. Intelligence artificielle, fin du salariat, humanité augmentée, Malakof, Dunod, 2018.