ArticlePDF Available

Pouvoir régalien et algorithmes, vers l' algocratie ?

Authors:

Abstract

Ce texte souhaite apporter une contribution à la compréhension des rapports entre pouvoir politique, gouvernement des hommes et intégration progressive des algorithmes dans les fonctions régaliennes de l’ État (Défense, Police et Justice). Pour ce faire nous aborderons les processus de rationalisation des bureaucraties étatiques et leur parachèvement par les algorithmes implantés au coeur des instruments régaliens de gouvernement, les enjeux du concept contemporain de « l’ État plateforme » et l’ usage de plus en plus intensif d’ algorithmes au sein même des fonctions régaliennes de Défense, de Police et de Justice. Le texte interroge le concept “d’ algocratie” qui émerge progressivement de l’ intégration de ces outils réductionnistes dans la sphère de la décision publique. Cette situation se révèle comme une nouvelle étape de la mise en nombre et de la rationalisation des Hommes et de leur gouvernement. Passant d’ un art de gouverner à une science du gouvernement, les promesses d’ efficacité et d’ optimisation par gouvernement automatisé, qui parachèvent le mouvement de bureaucratisation, sont anciennes et ses conséquences bien connues : déresponsabilisation, dépolitisation et délégitimisation. Sans être excessivement alarmiste, il s’ agit ni plus ni moins de l’ avenir de la régulation de la violence sociale et de la paix civile qui sont en jeu dans l’ évolution du rapport entre technologie et fonctions régaliennes constitutives de l’ autorité et de la légitimité des pouvoirs publics. La prise de conscience en cours des biais et des limites réductionnistes des algorithmes - sans même parler de ceux de “l’ intelligence artificielle” - permet de faire émerger des controverses dans l’ espace public qui permettront, il faut l’ espérer, une repolitisation des enjeux collectifs.
1
Pouvoir régalien
et algorithmes,
vers l’ algocratie ?
Janvier 2018
2
Cette étude a été réalisée avec le soutien de la
Fondation IF - International foundation
3
Sous la direction de Pierre GUEYDIER, Directeur de la Recherche, OPTIC
Avec la contribution de :
Dominique LAMBERT, Université de Namur
Et la participation de :
Emmanuelle MIGNON
Louis ASSIER ANDRIEU, Science Po Paris
Francesco ANDRIULLI, Institut Mines -Telecom
Véronique TORNER
Adrienne CHARMET
Le réseau OPTIC
Réseau de recherche internationale pluridisciplinaire créé en 2012, OPTIC anime des
groupes de travail dans les lieux où se développent les technologies de rupture avec
ceux qui les conçoivent. A Berkeley, Stanford, Boston, Genève ou Paris, les experts du
réseau étudient limpact de ces technologies d’ avenir sur les activités humaines et sur nos
sociétés.
OPTIC relie des universitaires (en sciences sociales, philosophie, économie, ...), des
entrepreneurs et la société civile créant un cercle de réexion et dinnovation dédié aux
enjeux éthiques des technologies de rupture. Lobjectif dOPTIC est de créer des espaces
de dialogue entre des acteurs majeurs de diérentes disciplines tous tournés vers l’ inno-
vation technologique et ses implications sur la vie humaine.
OPTIC est porté par la Human Technology Fondation dont le Conseil d’ Administration
est présidé par S.E. le Prince Nicolas du Liechtenstein et le Comité Exécutif par le Fr. Eric
Salobir.
Initié par l’ Ordre catholique des Prêcheurs, OPTIC nen reste pas moins totalement
autonome dans le choix de ses recherches thématiques et la direction des travaux de
recherche.
optictechnology.org
contact@optictechnology.org
4
Disruptive technologies, technologies de rupture. Le terme,
qui a faveur des entrepreneurs et des médias, sonne comme
l’annonce dune révolution; celle des nouvelles technes qui
s’immiscent dans chaque aspect de notre quotidien, trans-
formant notre façon de travailler, de communiquer, de
nous divertir ou de nous soigner: léconomie, la politique,
la nance et le système de santé en sont profondément
impactés au point que la neutralité de ces technologies
apparaît de plus en plus comme une illusion. On les
découvre porteuses, de pré-requis, de valeurs et, pour tout
dire, d’ un projet de société, parfois inconsciemment inscrit
dans leur code par leurs concepteurs.
Aborder la complexité et la rapidité de ces transformations, an d’ en évaluer les opportu-
nités comme les risques, requiert une approche internationale et trans-disciplinaire, qui
dépasse le monde de la « tech» et celui de l’ entreprise. Pour mener à bien cette tâche, le
réseau OPTIC rassemble depuis plusieurs années des spécialistes des sciences humaines
et de la technologie, ainsi que des représentants du monde des aaires et de la société
civile. Ces travaux, menés à huis clos, ont permis de dresser un panorama clair des enjeux
sociétaux et de sensibiliser les acteurs de la révolution technologique aux enjeux éthiques
de leurs décisions.
Pour la première fois en 2018, OPTIC a décidé douvrir cette réexion en publiant une
série de courts livres blancs sur les sujets qui nous semblent les plus épineux. Cette
démarche vient en complément du travail réalisé par les instituts de recherche public et
les cabinets de conseil. Notre approche est spéciquement centrée sur la place de l’hu-
main dans les bouleversements que nous étudions.
Ces premiers documents, rédigés à Paris et présentés au Collège des Bernardins, ouvrent
la voie à une série d’ autres publications par les équipes de recherche d’ OPTIC, en lien
avec de grands centres universitaires, à Genève, Toronto, Boston, Berkeley, Rome et
Oxford.
Je vous invite à consulter lactualité de nos travaux de recherche sur
www.optictechnology.org, à réagir et à prendre part à cette conversation.
Eric Salobir o.p.
Président d’ OPTIC
Partenaires :
Getty
5
Ce texte souhaite apporter une contribution à la compréhension des rapports entre
pouvoir politique, gouvernement des hommes et intégration progressive des algorithmes
dans les fonctions régaliennes de l État (Défense, Police et Justice).
Pour ce faire nous aborderons les processus de rationalisation des bureaucraties étatiques
et leur parachèvement par les algorithmes implantés au cœur des instruments régaliens
de gouvernement, les enjeux du concept contemporain de «l État plateforme» et l’ usage
de plus en plus intensif d’ algorithmes au sein même des fonctions régaliennes de Défense,
de Police et de Justice.
Le texte interroge le concept “d’ algocratie” qui émerge progressivement de l’ intégration
de ces outils réductionnistes dans la sphère de la décision publique.
Cette situation se révèle comme une nouvelle étape de la mise en nombre et de la ratio-
nalisation des Hommes et de leur gouvernement. Passant d’ un art de gouverner à une
science du gouvernement, les promesses d’ ecacité et d’ optimisation par gouvernement
automatisé, qui parachèvent le mouvement de bureaucratisation, sont anciennes et ses
conséquences bien connues: déresponsabilisation, dépolitisation et délégitimisation.
Sans être excessivement alarmiste, il s’ agit ni plus ni moins de l’ avenir de la régulation
de la violence sociale et de la paix civile qui sont en jeu dans l’ évolution du rapport
entre technologie et fonctions régaliennes constitutives de l’ autorité et de la légitimité des
pouvoirs publics. La prise de conscience en cours des biais et des limites réductionnistes
des algorithmes - sans même parler de ceux de “l intelligence articielle” - permet de
faire émerger des controverses dans l espace public qui permettront, il faut l’ espérer, une
repolitisation des enjeux collectifs.
Résumé
6
Pouvoir régalien et algorithmes,
vers l’ algocratie ?
5 RÉSUMÉ
7 INTRODUCTION
8 LE RÉGALIEN ET LE NOMBRE
8 Rationaliser,quantieretprédire
11 Gouvernerparlaprédiction
13 La«plateformisation»del’État
15 Enjeuxalgorithmiquesetfonctionsrégaliennes
18 ALGOCRATIE
18 Lemonopoledelaviolenceetlaquestiondel’autonomie
 dessystèmesd’armes
19 Risquesdessystèmesd’armeslétauxautonomes(SALAs)
22 Recommandations
23 Justice, Police et algorithmes
24 TechnologiesetcrisedelégitimitédelaPolice
25 L’ocedujugeàl’èrenumérique
27 LemanagementdelaJustice
28 RéductionnismevsPhilosophiedudroit
30 CONCLUSION
31 RÉFÉRENCES
7
Face à l’ érosion de l’ autorité institution-
nelle comme caractéristique de l’ État
post-moderne, nous faisons face à un
paradoxe. Objet et acteur de cette désins-
titutionnalisation sous l’ inuence externe
des processus de globalisation et l aai-
blissement interne de la dépolitisation de
ses instruments (agences, autorités indé-
pendantes, droit négocié...), la puissance
publique consciente de sa perte d’ autorité
manifeste d’ une part une volonté d’ ar-
mation de son pouvoir régalien – en parti-
culier dans le domaine sécuritaire – et une
orientation vers une gouvernance ouverte
qui voudrait s inspirer des prouesses des
plateformes numériques administrées par
des algorithmes.
Pour éclairer ce paradoxe, nous aborde-
rons en premier lieu les processus de ratio-
nalisation des bureaucraties étatiques et de
leur parachèvement par les algorithmes
implantés au cœur des instruments réga-
liens de gouvernement. Dans un second
temps, nous tenterons de décrypter les
enjeux du concept contemporain de
«l’ État plateforme». Nous dresserons par
ailleurs un état des lieux général de l’ usage
de plus en plus intensif d’ algorithmes au
sein même des fonctions régaliennes de
Défense, de Police et de Justice.
La seconde partie du texte interrogera
le concept “d’ algocratie” qui émerge
progressivement de l’ intégration de ces
outils réductionnistes dans la sphère de la
décision publique. Le cas extrême du droit
étatique de l’ exercice de la violence légi-
time retiendra notre attention avec la pro-
lifération de nouveaux systèmes d’ armes
de plus en plus autonomes. Cette question
n est pas un simple sujet d’ ingénierie et de
tactique militaire mais interroge le cœur
du pouvoir régalien, à savoir sa légitimité
théorique à user de la violence, même la
plus extrême.
Alors que les frontières entre Défense
et Police ont tendance à se brouiller
dans le contexte du terrorisme de masse,
nous nous intéresserons à l’ impact des
algorithmes dans la fonction policière
et sur la perception de son action par les
populations. Enn, nous discuterons des
promesses d’ optimisation de l’ ecacité de
la Justice par ces outils techniques et leurs
impacts sur cette institution symbolique,
fondatrice de la paix civile, son autorité et
sa légitimité.
Introduction
8
Nous souhaiterions ici expliciter le contexte
de la réexion sur le rapport entre pouvoir
politique, gouvernement des hommes et
processus de quantication. L ensemble
des mécanismes qui visent à représenter
et établir des correspondances est essentiel
pour comprendre la façon dont les méca-
nismes de pouvoirs agissent en se repré-
sentant le réel. À la fois en faisant émerger
une “réalité” qui à un moment et dans
un contexte donné produit un consensus
social mais qui, en même temps, par sa
fragilité, alimente le débat public.
Rationaliser, quantier
et prédire
Dans la constitution de l’ État régalien
moderne, la notion de bureaucratie est
essentielle comme l’ a montré Max Weber1.
La rationalisation est le cœur de cette idéo-
logie qui prétend user d’ outils de la science
pour agir sur le social. L histoire de cette
rationalisation de l art de gouverner permet
de comprendre comment au XIXème siècle
économie et politique, sous l impulsion
du positivisme, vont ériger des systèmes
sociaux basés sur l’ idée d’ une amélioration
des populations à travers la mise en place
de mécanismes rationnels de production de
savoir sur ces dernières an de les gouverner.
L outillage de rationalisation de la bureau-
cratie de gouvernement est constitué par les
vastes méthodes de la statistique publique
chargées de fournir représentations, équiva-
lences et modèles à l’ ecacité des pouvoirs
publics, censés être débarrassés de toute
idéologie. Les processus de quantication,
comme “science de l’ État2, renforcent l’ idée
et la mise en œuvre d’ une rationalisation par
l’ usage d’ une discipline mathématique issue
du calcul des probabilités, chargé de guider
l’ action neutre et ecace de l’ État.
La raison statistique relève bien de la raison
d’ État – centrale pour le pouvoir régalien –
qui domine un espace social en même temps
qu’ il le mesure et le fait apparaître comme
une réalité. Délinquance, assurances, tarifs
douaniers, abilité des jurys, sondages
sont des objets statistiques dont les deux
principales fonctions socio-politiques sont
de classer et de coder. La taxinomie, les
nomenclatures et les catégories conduisent,
en empruntant à lhistoire naturelle et la
médecine, à constituer une “science de
la société” administrative et mais aussi
morale (statistiques sur le mariage, les
décès, la récidive, le suicide).
Ces outils – et c’ est un rôle central et
discret – entraînent une circularité entre
savoir et action. Les “données” appa-
raissent comme conséquence d’ une action
Le régalien et le nombre
1. Max Weber, Économie et société, 1921.
2. Desrosières, A., La politique des grands nombres, La Découverte, 2010
9
organisée, “l’ information” résulte d’ une
mise en forme et d’ une structuration de
ces données à travers une nomenclature.
Des variables apparaissent par glissement
de critères antérieurs de classement et de
codage comme par exemple le passage de la
catégorie de pauvre vers celle de chômeur,
de métier vers celle d’ emploi, de crime vers
celle de délinquance.
Nous souhaitons ici souligner la liation
de l’ usage des algorithmes par l’ État
régalien, avec les concepts historiques de
bureaucratie et de statistique. Les algo-
rithmes implémentés dans l’ architecture
bureaucratique de lÉtat renforcent une
conception rationaliste, voire réduction-
niste, des rapports sociaux mais, encore
davantage, permettent une automatisation
des décisions orientée par une analyse pré-
dictive des données publiques.
Une des principales caractéristiques des
algorithmes consiste en leur fonctionne-
ment à la fois invisible, propre aux instru-
ments de gouvernement en général et leur
opacité – le classique eet “boite noire,
aggravée par les nouvelles générations
d’ algorithmes qui, couplés aux avancées
de l’ Intelligence articielle, deviennent
dynamiques et “apprenants.
À la diérence des statistiques
traditionnelles axées sur les notions de
moyenne et de norme, les opportunités
d’ agrégation et d’ analyse de quantités
massives de données prétendent non plus
établir des représentations et des modèles
de la réalité, mais bien promettre de
saisir la réalité sociale “comme telle” dans
son ensemble dans une objectivisation
absolue du réel. Cette gouvernance par les
nombres conduit - à mesure que les outils
de représentations se complexient - à
substituer la carte au territoire, à perdre
progressivement pied avec la réalité puis
toute prise sur elle.
De surcroît, lobjectivité et la rationalité
des algorithmes, comme celle de toute
bureaucratie ne sont qu’ apparentes et
ctionnelles. Il ne s’ agit pas bien sûr de
disqualier globalement l’ intérêt des algo-
rithmes dans les aaires publiques mais de
prendre conscience des eets de leur usage
en examinant leur genèse. Les mathéma-
tiques en tant que discipline intellectuelle
exercent une autorité symbolique très forte.
Leur caractère mystérieux et impénétrable
impose d’ emblée un ascendant intellectuel
sur le profane. Et de fait, au sein dune
organisation dont le cœur d’ activité repose
sur l’ usage d’ algorithmes, la connaissance
précise de leur fonctionnement est con-
née à un très faible nombre d’ ingénieurs
et de mathématiciens non pas seulement
par nécessité de secret industriel mais par
la complexité inhérente à leurs caractéris-
tiques épistémologiques. Heureusement,
des auteurs mathématiciens comme Cathy
O’ Neil3 ont fait œuvre de vulgarisation et
de pédagogie pour souligner comment les
algorithmes - loin de rationaliser le réel - y
injectent de très nombreux biais.
O’ Neil souligne que le principal problème
de l’ usage des algorithmes n’ est pas dans
leurs évidentes limites mais dans l’ eet de
3. Cathy O’ Neil, Weapons of Math destruction, Crown Random House, 2016.
10
vérité qu’ ils produisent sur leurs usagers et
leurs concepteurs sous couvert du mystère
mathématique dont ils sont entourés. La
croyance dans leur ecacité et leur objec-
tivité est donc particulièrement grande et
nécessite un eort de démystication et de
pédagogie. Lauteur rappelle ainsi qu’ une
donnée nest justement jamais “donnée”.
Comme nous l’ avons vu pour la statistique,
la simple observation d’ un phénomène
social (délinquance, chômage, menace
sécuritaire...) est le résultat a minima dune
nomenclature et de l’ action d’ un capteur
dans et sur un environnement. Ensuite,
l’ action qu’ est censée opérer un algo-
rithme est elle aussi le fruit d’ une décision
humaine (détecter des délinquants, identi-
er des ennemis, empêcher la récidive...).
Pour ONeil: «le data scientist nest ni plus
ni moins qu’ un traducteur, qui traduit des
décisions et les implémente dans un code.
[…] il ne faut surtout pas oublier cela: les
mathématiques néclipsent pas le contexte
culturel dans lequel le code est rédigé.». La
mise en évidence de ces biais ne doit pas
discréditer le concept dalgorithme mais
simplement, au delà d’ une conception
magique des mathématiques, encourager
à concevoir ces outils comme de simples
“processus de prise de décision” dont les
biais doivent être assumés et explicités
aux usagers et aux autorités publiques qui
décident de les implémenter dans leur pro-
cessus bureaucratique.
Dans une approche plus historique et pour
mieux saisir les enjeux de la gouvernance
algorithmique, il faut aussi considérer
qu’ une organisation bureaucratique porte
en elle deux principales caractéristiques:
en cherchant à rationaliser et faire entrer
l’ art de gouverner dans un processus
scientique, elle produit déresponsabi-
lisation et dépolitisation. Le processus
de déresponsabilisation inhérent à toute
bureaucratie a été longuement souligné
par Hannah Arendt4 dans son œuvre sur
les origines du totalitarisme. En refusant
de dénir le pouvoir par des mécanismes
de domination de lhomme sur l’ homme
– à rebours de l’ essentiel de la pensée
politique occidentale – et la violence5
comme manifestation de ce pouvoir,
Arendt va contester que l’ usage légal
de la violence sut à dénir le pouvoir
régalien, elle nen est que l’ instrument.
Pour Arendt, un des eets des organisa-
tions bureaucratiques est de conduire à
des comportements déresponsabilisés.
Sans pouvoir entrer ici dans les détails, les
historiens6 du XXème siècle soulignent que
l’ administration bureaucratique s’ impose
progressivement comme un pouvoir de
gouvernement autonome et indépen-
dant du pouvoir politique. La fonction
publique se pense comme une institution
neutre et rationnelle davantage au service
des intérêts publics que des élus. Au siècle
passé, la bureaucratie a pu se revendiquer
d’ une dimension presque sacerdotale
comme gardienne du Bien commun et de
la pérennité rationaliste des institutions
politiques. À la lumière de cette pensée qui
associe bureaucratie, déresponsabilisation
4. Hannah Arendt, Les origines du totalitarisme, Le Seuil, 2006.
5. Hannah Arendt, Du mensonge à la violence. Essais de politique contemporaine, trad. G. Durand, Paris, Calmann-
Lévy, 1972; éd. poche, Paris, Presses-Pocket, 1989.
6. Pierre Rosanvallon, La légitimité démocratique, Le Seuil, 2008.
11
et in ne totalitarisme, l’ introduction de
processus algorithmiques dans l’ appareil
administratif de l’ État doit a minima
ouvrir le débat sur la portée politique
de ce choix au-delà dun solutionnisme
technique naïf, mais sans toutefois verser
dans la panique morale et la théorie du
complot.
Le second courant d’ analyse des consé-
quences historico-politiques de la bureau-
cratie insiste sur le processus de dépoli-
tisation, notamment souligné par Carl
Schmitt7. La perte de conance dans le
personnel politique élu a atteint des som-
mets rarement égalés. Phénomène certes
ancien et continu, cette tendance a pour
eet une désacralisation presque complète
des autorités institutionnelles et politiques.
Par un eet de vases communicants, cette
perte d’ autorité symbolique se traduit par
une prolifération normative transférée
à un pouvoir bureaucratique paré des
vertus du rationalisme et débarrassé de
l’ incertitude idéologique. La “résolution
des problèmes” devient le but de lactivité
politique à travers des instruments délibé-
rément dépolitisés comme les agences, les
autorités indépendantes ou le droit négo-
cié. Cette tendance de fond est manifeste-
ment aggravée par lusage des algorithmes
présentés comme laboutissement du pro-
cessus de rationalisation du réel. Même si
le concept “d’ open government”8 souhaite
réenchanter le politique par une partici-
pation de la “multitude” à la construction
de la Cité, sa capacité cruciale à générer
de l’ autorité reste très hypothétique.
Gouverner par la
prédiction
Ces outils algorithmiques narrivent donc
pas dans un terrain vierge de techniques
de gouvernement. Il semble important
et judicieux de rattacher la réexion aux
questions anciennes posées par les instru-
ments de gouvernement.
La gouvernance algorithmique peut être
problématisée comme le dernier appro-
fondissement en date du rôle essentiel
des instruments de gouvernement. Cette
approche “par les instruments” permet de
décrire non pas les acteurs et les contenus
des politiques sectorielles mais plutôt leur
design comme élément central porteur des
conditions de choix et des eets rétroactifs
de ces moyens rationnels.
Le recours à de tels instruments et à de
telles techniques nest jamais une ques-
tion neutre. Toute technique est créatrice
d’ eets propres qui débordent les eets
attendus. Lidéal grec d’ une cité gouvernée
par les lois et non par les hommes a pris,
grâce au développement technologique,
la forme d’ un gouvernement conçu sur
le modèle de la machine. Cet imaginaire
politique d’ un monde rendu transparent à
lui-même par des techniques toujours plus
rationalisantes promet à chacun de sar-
mer comme un sujet souverain, émancipé
du pouvoir des hommes et de la nature.
Avec la révolution numérique, l’ imaginaire
de la gouvernance par les nombres est celui
7. Carl Schmitt, « Depoliticized Politics, from East to West», New Le Review, 41, sept-oct 2006, p. 29-45.
8. Lancée sous l’ administration Obama en 2013, l’ Open Government Initiative s’ est combinée avec une chasse aux
lanceurs d’ alerte dans l’ administration américaine à l’ intensité inégalée selon l’ avis du Committee to Protect Journalists.
12
d’ une société sans hétéronomie, où le pro-
gramme remplace désormais la loi, réduite
à la mise en œuvre d’ un calcul d’ utilité.
Les frontières entre lhomme, l’ animal et la
machine s’ eaçant comme autant de sys-
tèmes homéostatiques. Le paradigme du
Marché entre en compétition avec celui de
la Loi et entraîne “un double mouvement
de privatisation de la chose publique et de
publicisation de la chose privée”. À la dif-
férence de la règle de droit qui ne procède
pas exclusivement de l’ observation des
faits mais laisse la part à l’ interprétation, la
gouvernance par les nombres sinscrit dans
la longue ction historique de lharmonie
par le calcul concevant la normativité en
termes de programmation et non plus en
terme de législation.
Lusage d’ outils d’ hyper rationalisation du
social comme les algorithmes appliqués
au domaine régalien de lÉtat revêt aussi
une portée morale issue du mouvement
néolibéral du New Public Management
des années 1980 qui impose aux acteurs
publics un devoir de “redevabilité
(Accountability) de leurs actions et des
deniers publics engagés. La promesse de
la gouvernance algorithmique laisse en
eet croire à une optimisation automatisée
de l’ allocation des moyens publics par la
mesure et la correction automatisée.
Au sein des services publics, des entreprises
privées puis de chaque micro-acteur social,
l’ accountability rend progressivement qui-
conque comptable – et non plus seulement
responsable - de ses comportements. À la
gestion humaine dans les entreprises se
substitue une gestion indirecte et englo-
bante fondée sur la conduite des conduites
par l’ intériorisation des contraintes par le
sujet devenu “entrepreneur de lui-même.
Ainsi, la rétroaction des indicateurs
(ranking) et leur publication atteignent
l’ individu dans tous les moments de sa
vie (profession, relations sociales, santé,
consommation, quantifed self...).
Parmi les eets connus en matière de
prédiction algorithmique et de cyberné-
tique, la boucle de rétroaction (feedback
loop) conduit bien souvent l’ usage des
algorithmes dans la prise de décision à un
résultat plus prescriptif que prédictif. La
fabrication des données, leurs éventuels
défauts et leur méthode de quantication
et de corrélation peuvent ainsi gravement
induire un résultat plus que le prédire.
Lutilisation de jeux de données qui ren-
seignent des événements passés peuvent
négativement produire des eets dans le
futur. Tel est le cas emblématique des algo-
rithmes qui déterminent la solvabilité des
emprunteurs en fonction de leur code pos-
tal et qui induisent des biais importants en
matière de discrimination: les taux dinté-
rêt plus forts, liés à la solvabilité moyenne
informée par le code postal, induisant des
défauts de paiements plus importants qui
engendrent eux mêmes un renforcement
du poids négatif du code postal pour l’ algo-
rithme. On retrouve aussi ces conséquences
quand les décisions de Justice – comme la
libération conditionnelle – s’ appuient sur
des critères9 de l’ environnement social du
9. Critères dont la normalisation en amont et le travail de saisie par divers acteurs sociaux sont particulièrement
opaques.
13
justiciable induisant de véritables eets de
prédestination en raison du contexte fami-
lial, social ou professionnel. Ou encore,
l’ envoi de patrouille de Police en fonction
des zones de délinquance déterminées
par une analyse des données statistiques
de criminalité qui soit la déplace simple-
ment ou stimule le risque de heurts par
des contrôles didentité au faciès répétés.
Comme l’ a montré la loi de Goodhart10,
quand une mesure devient une cible, elle
cesse d’ être une bonne mesure.
Reste que si l’ évolution de la rationalisa-
tion de la gouvernance a pu prendre des
siècles pour progressivement se mettre en
place, l’ arrivée des algorithmes produit
une accélération exponentielle des moda-
lités d’ exercice du gouvernement. Ainsi,
à peine prenons nous conscience depuis
une vingtaine d’ années du phénomène de
la gouvernance algorithmique que de nou-
veaux léviathans de lhyper rationalisation
apparaissent. Il sagit en particulier du
phénomène de couplage entre la science
de l’ algorithme et l’ Intelligence articielle
qui donne naissance à des algorithmes
dynamiques ou «apprenants» dont aucun
des concepteurs initiaux ne maîtrise in ne
le résultat. Ces algorithmes apprenants
contribuent à accroître les mécanismes
de déresponsabilisation en promettant
l’ avènement d’ une intelligence supérieure
capable d’ agir sur le réel.
La « plateformisation »
de l’ État
Depuis une quarantaine d’ années, il est
dicile, notamment en France, d’ aborder
la question de l’ État régalien autrement
que par la déconstruction. Face à la panne
intellectuelle pour penser l’ État autrement
qu’ instrumentalisé, la rhétorique de la
gouvernance est née pour dénommer cette
multiplication des acteurs et ce brouillage
des frontières des “politiques publiques
glissant vers un “action publique” sur
laquelle les exécutifs nationaux perdent
prise. Face à la pluralité historique de la
ction collective de l’ État – ne serait-ce
qu’ en Europe – et à une forme de nostalgie
de l’ État-Providence classique, le projet
néolibéral a tenté de réenchanter le concept
d’ État par le modèle “managérialiste11
de l’ entreprise privée. Les nombreuses
“réformes de l’ État” ont aligné par volon-
tarisme l’ action publique sur les intérêts
économiques sans modier profondément
la sociologie des élites technocratiques, et
sans alléger la pression bureaucratique,
bien au contraire.
Face à cette tendance de fond, les deux
dernières décennies ont aussi vu un mou-
vement contraire par un retour de lÉtat
régalien, qu’ il s’ agisse de sécurité inter-
nationale, d’ accroissement des rapports
de forces ou de mise à lécart de l’ ONU.
La tension est extrême entre larmation
d’ un État-entreprise contractant avec des
intervenants toujours plus nombreux
10. “Once a social or economic indicator or other surrogate measure is made a target for the purpose of conducting
social or economic policy, then it will lose the information content that would qualify it to play such a role.” , Charles
Goodhart, chief economic advisor à la Banque d’ Angleterre, en 1975.
11. Luc Rouban, « Les paradoxes de l’ État postmoderne», Cités 2004/2 (n° 18), p. 11-22.
14
et la nécessité pour l’ État de maintenir
ses prérogatives régaliennes en matière
d’ ecacité et de sécurité du droit. Si par de
nombreux aspects linvasion des fonctions
régaliennes de l’ État par les algorithmes
sembleparticiper d’ un aboutissement du
processus de bureaucratisation, de nou-
velles représentations de l’ État voient au
contraire le jour en appelant de leurs vœux
une puissance publique qui prendrait la
forme d’ une vaste plateforme chargée de
coordonner les intérêts particuliers. La
success-story de la plateforme numérique,
incarnée par les géants de la Silicon Valley,
deviendrait, par analogie, un nouveau
modèle d’ ecacité à imiter et une source
d’ inspiration pour les pouvoirs publics.
De fait, si l’ on considère laction publique
comme une mise en œuvre d’ un calcul
d’ utilité individuelle, cette perspective
est séduisante en ce quelle s’ oppose aux
travers d’ une administration centralisée
naturellement rigide, verticale, opaque
et distante. Les promoteurs de cette
débureaucratisation” brandissent même
le risque d’ une “ubérisation” de l’ État
par des acteurs privés jusque dans ses
fonctions régaliennes. Cette volonté de
débureaucratisation est certes louable
mais reste profondément ambivalente au
regard des missions de service public.
Outre le fait quelle pose de considé-
rables incertitudes de droit concernant
justement la responsabilité de l’ État, le
postulat que des dispositifs techniques
pourraient résoudre des questions
éminemment politiques (Bien commun,
solidarité nationale, égalité devant la loi,
libertés publiques...) reste très contesté.
Supposer que le démantèlement par une
distribution décentralisée des fonctions
étatiques par l’ appel à contribution de
la “multitude” serait la réponse à la crise
de l’ État12 demande sans doute à être
interrogé.
Dans une approche plus critique, un tel
eacement de l’ hétéronomie de la loi
et de l’ État participe dune conception
clairement ultra-libérale qui conçoit
l’ action publique comme un produit en
compétition sur le marché des normes.
Limaginaire iconique de la plateforme
numérique gérée par des fonctions
algorithmiques fait glisser la loi vers la
programmation, la réglementation vers la
régulation. Plus largement cette hypothèse
d’ un État transformé en plateforme qui
instaure un accès totalement ouvert
aux données publiques – au risque de
les voir appropriées par des entreprises
privées nalement seules capables
d’ absorber et de traiter de telles quantités
d’ informations – risque au contraire de
générer de nouvelles formes de violences
par la destruction progressive de la
conance en la socialisation du risque
assurée par l’ État13. En voulant, avec les
meilleures intentions, individualiser le
traitement administratif, en visant la
liquidité du capital humain, c’ est bien
la notion de solidarité qui devient elle
même caduque, remplacée “par un ordre
12. Des auteurs comme Evgeny Morozov ont développé une critique virulente de cette tendance au “solutionnisme”
qui voit dans le développement du numérique une solution globale aux questions socio-politiques.
13. Les controverses autour de services de transport de personnes ou de marchandises articulés à des plateformes
soulignent cette tendance à un brutal “retour du social” au sein de ces écosystèmes “plateformisés”.
15
engendré par lajustement mutuel de
nombreuses économies individuelles sur
un marché14”.
Enjeux algorithmiques
et fonctions régaliennes
Tentons à présent de mieux cerner par
quelques exemples concrets la complexité
des usages des dispositifs algorithmiques
dans des circonstances où l’ État exerce le
cœur de sa mission régalienne.
Nous débuterons par un cas extrême du
pouvoir régalien: celui de l’ exclusivité de
l’ emploi de la violence légitime, y compris
jusqu’ à une nalité létale, dans le cas d’ un
acte de guerre. Certes, en raison de l’ évolu-
tion des conits armés sous limpulsion de
la menace terroriste diuse, la nature des
faits de guerre se sont largement brouillés
sur le plan éthique, juridique et politique.
Le cadre légal de l’ utilisation de la violence
légitime létale conjugué avec la “révolution
dans les aaires militaires” des années
1990 fondée sur le paradigme de la supé-
riorité technologique est un cas limite et
donc essentiel à observer comme terrain
d’ application et darticulation entre pou-
voir régalien et algorithmes.
Le domaine des Systèmes dArmes Létaux
Autonomes (SALA)15 concentre lessentiel
de la prospective des armées à propos des
capacités d’ autonomisation de dispositifs
robotiques chargés dune mission d’ ordre
militaire. Même si, à bien des égards,
leur emploi eectif reste du domaine
de la science ction, ce sujet fait l’ objet
d’ intenses recherches techniques mais
aussi de réexions sur l’ éthique du combat
et les moyens de doter ces systèmes d’ armes
d’ algorithmes décisionnels susceptibles
d’ imiter une décision humaine emprunte
de vertus morales.
La Justice, autre domaine par excellence
d’ exercice du pouvoir régalien, est un autre
terrain essentiel pour la mise en applica-
tion progressive de décisions publiques
issues pour tout ou partie du résultat
d’ algorithmes. Les questions de “bonne
administration” de la Justice, c’ est à dire la
résorption de la saturation des tribunaux
et l’ engorgement des prisons, la volonté
de rationaliser au maximum la décision
publique au regard des taux de récidive et
plus largement les théories de la redevabi-
lité (accountability) des pouvoirs publics
ont largement encouragé les expériences
récentes. Deux cours dAppel en France
commencent une expérimentation d’ outil
d’ aide à la décision; en symétrie, des socié-
tés d’ avocats proposent en “fouillant” dans
les données de Justice – prochainement
intégralement mises à disposition dans un
format ouvert – de calculer “les probabilités
de résolution dun litige, et le montant des
indemnités” en comparant les jugements
an de détecter quelle cour, voire quel juge,
est plus clément sur tel type d’ aaire. Pour
Chantal Arens, Première Présidente de la
Cour d’ appel de Paris, ces technologies
induisent «un changement de paradigme»
et selon le magistrat Antoine Garapon, «la
14. F. A. Hayeck, Le mirage de la Justice sociale, p. 134.
15. Voir ci-dessous le paragraphe “Le monopole de la violence et la question de l’ autonomie des systèmes d’ armes”.
16
Justice prédictive fait s’ eondrer le mythe
d’ une loi impartiale et aveugle».
Cette ouverture des données de Justice
par la Loi sur la République numérique
(2016) pose d’ autres questions intéres-
santes, pas seulement sur lusage interne
des algorithmes par les acteurs du monde
judiciaire, mais sur une volonté bureaucra-
tique d’ accroître l’ ecacité d’ un service
public, en l’ occurrence la Justice. Ces
outils numériques posent aussi la question
de la nécessaire séparation entre Police et
Justice rendue de plus en plus poreuse par
les ux de données entre ces deux fonc-
tions publiques et politiques. Les notions
de responsabilité de la qualication juri-
dique et de l’ individualisation de la peine
sont ainsi potentiellement mises en cause
par l’ interconnexion des systèmes dinfor-
mation Police/Justice et par les tentations
de prédiction de la décision judiciaire.
Le contexte de lutte mondiale contre le
terrorisme est l’ occasion d’ exiger de la
part des opinions publiques et des pou-
voirs civils de plus en plus de résultats des
forces de l’ ordre. La pression législative
pour empêcher ces crimes encourage
l’ usage et lexpérimentation toujours plus
intense d’ outils capables de collecter, de
traiter et d’ alerter sur des comportements
susceptibles de trahir la préparation de ce
type de crimes. De l’ anticipation humaine
liée au air de l’ enquêteur à la prédiction
par l’ interception de données massives, il
existe une forte tentation politique sous
pression des opinions publiques à recourir
à des outils algorithmiques intrusifs.
Dans le domaine du maintien de l’ ordre
social, qui peut le plus (prédire des crimes)
peut le moins (réprimer des infractions)
et le pli des pouvoirs exécutifs en ces
domaines peut être rapidement extensif,
notamment dans des périodes d’ exception
– comme un état d’ urgence – où le rôle des
magistrats est largement marginalisé par
une gestion administrative de la fonction
policière de l’ État régalien. Les thématiques
sécuritaires et leur gestion algorithmique
illustrent parfaitement le phénomène des
boucles de rétroaction: plus les méthodes
de prédiction et de prévision échouent plus
les structures bureaucratiques réclament
de pouvoir an dobtenir de meilleurs
résultats.
La capacité de prédiction des crimes
et délits est aussi un marché colossal.
Parallèlement, ingénieurs, sociologues
et politistes se saisissent de ces instru-
ments et soulignent que dans bien des
cas ils génèrent eux mêmes ce quils
cherchent à débusquer ou bien souvent
apprennent peu de choses aux hommes
de terrain. En dénitive, la multiplication
des capteurs dinformations (vidéos sur-
veillance, reconnaissance faciale, boites
noires chez les fournisseurs daccès à la
téléphonie mobile ou à internet...) et les
données massives ainsi collectées font
peser sur les individus et sous l’ argument
de la lutte anti-terroriste le risque réel
d’ une véritable “société de contrôle” et
d’ auto-contrôle sans un réel traitement
politique de la cause de cette criminalité.
Max Weber dénissait il y a presque un
siècle, l’ accroissement des technologies
bureaucratiques comme une véritable
« cage de fer ». En 1990, Gilles Deleuze
voyait sinstaurer dans la suite des socié-
tés de l’ obéissance et de discipline de la
période moderne une société de contrôle
17
et de surveillance. Ces prévisions semblent
se réaliser sous nos yeux avec l’ expansion
des algorithmes – bientôt auto-appre-
nants avec les progrès de l’ Intelligence
articielle – dans le domaine du pouvoir
étatique régalien.
Beaucoup d’ exemples de mise en œuvre
commencent à contester ce tropisme éta-
tique vers cet hyper-rationalisme condui-
sant à un hyper-réductionnisme des socié-
tés humaines et de leur gouvernement. Le
risque de destruction de la responsabilité
publique et de la conance collective dans
les institutions étatiques apparaît de plus
en plus clairement à un moment où les
États tentent d’ entamer une restauration
de leur autorité16 qui est toujours inver-
sement proportionnelle à lusage même
légitime de la violence. Les limites de la
souveraineté utilitariste par le règlement
des problèmes avec des outils dépolitisés
semblent évidentes.
Naturellement, ce nest pas parce que la
révélation progressive des biais inhérents à
tout système bureaucratique advient et que
l’ usage des algorithmes les font apparaître
avec plus de clarté que le pessimisme et la
fatalisme doivent lemporter. Au contraire,
cette publicisation des biais et des limites
de techniques bureaucratiques permet
de faire émerger des controverses dans
l’ espace public17. Une meilleure compré-
hension et un eort pédagogique vont
vraisemblablement émerger de ces interro-
gations. Au nal, un passage par des échecs
de l’ implémentation des algorithmes dans
la sphère régalienne permettra peut être
une repolitisation des enjeux collectifs.
16. Les auditions sénatoriales américaines du 1er novembre 2017 à propos du rôle des géants de la Silicon Valley
dans le soupçon d’ interférence russe sur la dernière élection américaine marqueront probablement un tournant dans
cette reprise d’ autorité des pouvoirs publics.
17. Léchec de l’ algorithme “Admission postbac” qui in ne a repolitisé la question de l’ accès à l’ Université en est un
parfait exemple.
18
Le monopole de la
violence et la question
de l’ autonomie des
systèmes d’ armes
On parle beaucoup aujourd’ hui de sys-
tèmes d’ armes autonomes avec des capa-
cités létales ou non. De quoi sagit-il?
Il s’ agit de machines qui sont susceptibles
de fonctionner et de remplir un certain
nombre de tâches cruciales (choix dune
cible, décision de l’ observer, de la pour-
suivre, décision de lattaquer, etc.) sans
l’ intervention de lêtre humain.
Le recours au mode d’ autonomie des
machines est souvent justifié par la
volonté déviter d’ exposer l’ être humain
à des situations dangereuses, par le fait
que les communications entre un opéra-
teur et un robot ou un système darmes
ne sont pas toujours ni simples (elles
peuvent être interrompues, brouillées),
ni même possibles (comme dans le cas
des robots sous-marins), ou par le fait
que l’ humain ne peut plus gérer en temps
raisonnable et avec suffisamment de per-
formances des ensembles très complexes
d’ informations et d’ actions.
On peut concevoir tout un spectre de
nuances entre des machines automa-
tisées et des systèmes autonomes. On
peut aussi concevoir des types variés
d’ autonomie.
Une machine automatisée est une machine
qui exécute un programme précis et tota-
lement connu. Ici les comportements de
la machine sont parfaitement prédictibles.
Lopérateur humain nintervient pas une
fois la machine enclenchée, mais c’ est lui
qui a déterminé toutes les actions possibles
et leurs buts. Il garde en outre la possibilité
de mettre un terme au fonctionnement de
la machine.
Une machine est supervisée si un opérateur
garde la possibilité eective dintervenir
pour l’ arrêter ou en modier le fonction-
nement. “Eectif” voulant dire quil a réel-
lement le temps de le faire. Une machine
supervisée peut avoir des comportements
qui nétaient pas initialement prévus par
un agent humain mais, ce dernier conserve
toujours la possibilité de les modier ou de
les supprimer. Une supervision est forte si
l’ opérateur humain garde la maîtrise de la
programmation et de lapprentissage (si la
machine possède des capacités d’ auto-ap-
prentissage). Une supervision est faible si
l’ opérateur humain na plus la maîtrise de
la programmation ou de l’ apprentissage.
Une machine est autonome si elle peut agir
sans une supervision humaine. Les degrés
de supervision ou de non-supervision
permettent de concevoir tout un spectre
d’ états d’ autonomie. Le degré le plus bas
de l’ autonomie est l’ automaticité non
supervisée. Les comportements de la
machine sont connus et prévisibles mais
celle-ci nest pas mise sous la supervision
Algocratie
19
d’ un opérateur humain. Si on monte dans
les degrés d’ autonomie, on peut trouver
des machines qui ne sont pas supervisées
quant à la commande (pilotage) mais
qui sont supervisées lors de la phase de
programmation ou d’ apprentissage. Une
machine est faiblement autonome si elle
est non supervisée du point de vue de la
commande mais quelle est supervisée du
point de vue de la programmation et de
l’ apprentissage. Une machine est fortement
autonome si elle est non-supervisée
du point de vue de la commande, de la
programmation ou de l’ apprentissage.
Dans ce cas on peut qualier la machine
d’ innovante.
La connaissance de l’ ensemble des com-
portements possibles d’ une machine et
la délimitation précise de la zone géogra-
phique dans laquelle elle opère sont essen-
tielles pour évaluer le caractère légal ou
éthique de son utilisation. Cette connais-
sance nest possible qu’ avec des machines
supervisées ou faiblement autonomes. Elle
nest certainement pas possible pour des
machines innovantes.
Ce qui est déterminant d’ un point de vue
juridique ou éthique c’ est au fond la possi-
bilité de garder le contrôle de la machine,
de ses comportements, et la connaissance
précise de sa zone d’ action (non seulement
du point de vue géographique mais aussi
du point de vue de ses caractéristiques:
présence ou non de civils, de lieux ayant
une signication particulière, etc.).
Il faut remarquer que ce nest pas tant
l’ autonomie qui pose un problème d’ un
point de vue éthique ou juridique. En
eet, l’ autonomie dun système peut être
essentielle pour assurer la sécurité des êtres
humains. Lorsque des humains risquent
par leur ignorance ou du fait de leurs
erreurs ou de certaines de leurs pathologies,
de mettre en danger les utilisateurs d’ une
machine ou d’ un système complexe,
il est important que la machine puisse
éventuellement reprendre le contrôle et
opérer sans la médiation humaine. Par
contre ce qui se révèle crucial cest la
supervision des systèmes autonomes ou
non. Limprédictibilité totale, liée à des
comportements de machines innovantes,
pouvant redénir les objectifs initialement
prescrits par l’ humain ou pouvant sortir
des zones qui leur sont assignées, pose
des problèmes importants de sécurité et
par voie de conséquence, de responsabilité
éthique et juridique.
Quand il s’ agit de systèmes d’ armes
à capacités létales, c’ est-à-dire doués
de possibilités de tuer, la question de
l’ autonomie est hautement problématique.
Du point de vue strictement opérationnel,
mais surtout du point de vue moral, on ne
peut laisser, si on attache une importance
à la vie humaine, la capacité de tuer à
des machines qui pourraient sarroger
cette capacité sans médiation humaine et
dans des lieux non-dénis par des agents
humains responsables.
Risques des systèmes d’ armes
létaux autonomes (SALAs)
Le risque majeur de ce genre d’ armes est
la possibilité de dissimuler les responsables
en cas de dégâts collatéraux. Lautorité nor-
malement responsable de la mise en œuvre
d’ un SALA pourra toujours invoquer un
dysfonctionnement inconnu ou imprévi-
sible d’ un des composants du système pour
20
couvrir son implication directe dans une
action immorale ou illégale. Le problème
se complexie aujourd’ hui dans la mesure
ou l’ on pourrait penser à des essaims de
SALAs eux-mêmes en dialogue avec un
grand nombre dautres systèmes physiques
ou électroniques provoquant une dilution
des responsabilités dans un réseau com-
plexe de médiations technologiques.
Même si l’ on peut prétendre que les res-
ponsables sont ultimement les autorités
qui ont mis en œuvre les SALAs, il existe
une tendance actuelle à attribuer une res-
ponsabilité ctive à des machines. Les pro-
positions de considérer les systèmes auto-
nomes comme des “personnes morales”,
sont révélatrices de cette tendance. Mais
il faut être conscient que cela présente
un grand danger de confusion car une
machine, un objet technologique, ne peut
en aucun cas être un sujet responsable.
Lhumain seul peut être le sujet d’ une
responsabilité. Lui seul peut sourir et être
puni. Lintroduction de cette personnalité
juridique particulière et ctionnelle du
robot pourrait avoir un eet de dissimula-
tion des véritables responsables.
Remarquons que lusage de machines
innovantes, donc imprédictibles, relève
d’ un comportement irresponsable. On ne
peut mettre en œuvre une machine dont
on ne peut maîtriser les comportements
surtout si ces derniers impliquent la vie des
personnes et l’ intégrité de leurs biens. Il en
va de même d’ un comportement qui lais-
serait un système apprendre des compor-
tements sans supervision aucune. Comme
l’ ont montré des expériences récentes, une
machine auto-apprenante (un chatbot)
sans supervision humaine peut, au contact
de comportements humains néfastes,
devenir un système dangereux et dégra-
dant pour l’ humain.
Un des risques majeurs de l’ utilisation de
ce genre de machine armée innovante est
le fait qu’ elle pourrait se retourner contre
son utilisateur. Or nul politicien ni chef
militaire ne voudraient d’ un système qui
ultimement pourrait sopposer aux buts
qu’ ils ont xés. Une technologie doit rester
cohérente avec les nalités prescrites par
l’ autorité légitime et responsable. Or il est
vraiment dicile d’ assurer cette cohérence
avec des systèmes autonomes qui par
dénition peuvent sortir des règles et des
domaines qui leur sont imposés.
Malgré cette remarque, on peut craindre
que certains décideurs se laisseront
convaincre par l’ utilisation des SALAs en
raison de leurs avantages en termes de coût,
de minimisation des vies humaines (de leur
côté !) et des performances technologiques
en termes de traitement de linformation.
C’ est d’ ailleurs ici l’ un des risques des
SALAs, comme de toutes les technologies
évoluées. Leurs performances induisent
une sorte de fascination irrésistible qui
peut conduire à une sorte de démission de
l’ humain face à la machine.
Un danger corrélatif est celui qui mène à
faire croire qu’ une machine basée sur des
algorithmes pourrait avoir un véritable
pouvoir de décision ou de jugement. Or
la décision présente des aspects qui jus-
tement ne sont pas algorithmiques. C’ est
donc un leurre de penser que l’ on pourrait
fabriquer ultimement un agent moral
algorithmique, un “autonomous moral
agent”. Ce qui est problématique c’ est entre
autres le fait que la décision comporte à
certains moments des comportements
21
qui sortent des règles, même des règles de
transgression ou dinventions de règles. La
décision humaine consiste parfois à inven-
ter des règles en dehors de toute règle pour
sauver l’ esprit des règles ! Une machine ne
peut que se conformer à des ensembles de
règles. Il ny a pas d’ algorithme général de
création de règles.
De plus, l’ application des règles néces-
site une interprétation des contextes qui
demande une sémantique qui elle-même
nest pas facilement descriptible par des
règles ou des algorithmes. Cette interpré-
tation est centrale quant à la possibilité
de se conformer aux règles du Droit
International Humanitaire. En eet, dans
des situations de combat, il est important de
pouvoir interpréter, d’ après le contexte, si
une personne est un combattant ou un non
combattant. Or ce contexte est souvent très
uctuant, complexe et dicilement réduc-
tible à un certain nombre de traits identi-
ables a priori. La proportionnalité d’ une
réponse militaire ou la détermination d’ un
intérêt militaire dune cible relèvent aussi
d’ une interprétation ne des contextes qui
est dicilement “algorithmisable.
Un aspect qui est lié à ceci est le fait que les
décideurs militaires sur le terrain ne sont
jamais de simples exécuteurs automatiques
des ordres reçus par leurs autorités hiérar-
chiques. En eet, ils sont des êtres respon-
sables qui doivent comprendre l’ esprit des
ordres donnés et refuser éventuellement
certains ordres parce qu’ ils pourraient
être illégaux ou immoraux ou transgres-
ser la lettre de l’ ordre pour en rejoindre
l’ esprit. On fait comme si l’ on pouvait
sans problème remplacer les ociers,
les soldats par des machines exécutrices
d’ ordre. Mais cest oublier le rôle décisif
que peuvent jouer des humains conscients
et responsables sur le terrain, capables de
saisir les enjeux des consignes et jouer
éventuellement le rôle de fusible moral ou
cognitif en cas de directives non-éthique
ou aberrantes dun point de vue tactique
ou stratégique.
Un des risques de lutilisation des SALAs
est de croire que lon va évoluer vers une
guerre sans victime. Or, dans le fond, on sait
bien que dans toute guerre, les belligérants
vont essayer de frapper la partie adverse là
où elle est la plus sensible ou vulnérable.
Et l’ on sait bien que la perte d’ un soldat ou
d’ un civil reste une catastrophe. Si une des
parties utilise des moyens de guerre qui
économisent systématiquement la vie de
ses soldats, progressivement l’ autre partie
essaiera de provoquer la mort de civils
ou de soldats hors du champ de bataille,
provoquant une globalisation des conits,
avec une augmentation des victimes civiles.
On pourra assister aussi sur le champ de
bataille à une dissimulation progressive des
installations militaires susceptibles d’ être
touchées par des robots autonomes, sous
des hôpitaux, des écoles, etc., renforçant
ainsi les risques pour une population qui
jouit normalement dune protection eu
égard au Droit International Humanitaire.
Un autre risque est le fait que ces systèmes
complexes peuvent être facilement piratés
ou détournés. Les SALAs présentent donc
le danger de tomber assez facilement aux
mains de puissances néfastes. Le risque
vient aussi que ces puissances peuvent
mettre en œuvre très facilement ces objets
technologiques dont les caractéristiques
sont assez facilement accessibles. Cette
accessibilité présente elle-même un dan-
ger, car elle peut remettre en question
22
les équilibres des forces et provoquer de
nouvelles courses aux armements pous-
sées par de nouveaux acteurs dicilement
contrôlables.
On peut prétendre que les machines
pourraient se conformer mieux que les
humains aux règles du Droit International
Humanitaire ou satisfaire de manière plus
précise aux règles dengagement. C’ est
possible dans certains cas. De plus, on
peut à juste titre dire que les machines
ne sont pas soumises aux eets négatifs
du stress, de la fatigue, de langoisse et
aux sentiments de vengeance, de haine,
etc. Cependant, la délégation du pouvoir
de tuer aux SALAs repose aussi sur une
sorte de perte de conance en l’ humain,
en un être humain bien formé morale-
ment. Lhumain bien formé est aussi une
personne qui pourrait faire preuve de
compassion, qui pourrait dans certaines
circonstances placer un peu dhumanité
au sein des conits.
On ne doit pas minimiser le fait que
l’ humain pourrait aussi changer le cours
des guerres en faisant montre d’ un esprit
de pardon, de fraternité. Le recours
systématique à des robots armés est une
sorte de reconnaissance implicite qu’ une
éthique de la fraternité, quune éthique
des valeurs humaines na plus sa place
pour tempérer et espérer contrer la vio-
lence. Quand l’ humain est plongé réelle-
ment, physiquement, dans cet enfer quest
la guerre, il ne peut espérer que la n du
conit. Les médiations technologiques
qui mettent à distance l’ être humain
peuvent induire une sorte de fausse
perspective sur ce qu’ est eectivement la
guerre avec tout son poids de gravité et de
sourances. Un robot programmé pour
le combat appliquera rigoureusement les
règles, mais néprouvera jamais ce sen-
timent de dégoût qui, à la longue, saisit
tous ceux qui sont confrontés réellement
aux horreurs des combats. Sentiment qui
peut mener à la prise de conscience de la
nécessité de mettre un terme à la violence.
Il faut aussi souligner les eets psycholo-
giques néfastes que peuvent induire des
armes totalement robotisées chez les civils
qui y sont confrontés. La licéité d’ une
arme doit aussi senvisager en étudiant
les eets induits par les armes en termes
d’ angoisse et de peur chez des popula-
tions civiles. Lusage des drones, comme
celui des V1 durant la seconde guerre
mondiale, présente cette potentialité de
terroriser les populations qui vivent sous
leurs champs daction. On doit envisager
le fait que des armes autonomes roboti-
sées peuvent avoir cette possibilité de ter-
roriser la population civile. On peut déjà
observer sur le terrain que le fait que des
militaires soient augmentés de toute une
technologie (lunettes de vision nocturne,
casque, gilet pare-balle, …) peut pertur-
ber les contacts avec une population civile
dans les zones de conit, au détriment des
militaires qui voudraient établir avec elle
une situation de conance.
Recommandations
Le droit et l’ éthique, qui constituent des élé-
ments fondamentaux pour la vie en société,
se fondent sur une notion de responsabilité.
Celle-ci ne peut reposer que sur une per-
sonne humaine. La délégation d’ un pouvoir
à une machine ne doit pas faire oublier que
seule une autorité humaine est responsable
des conséquences de cette délégation.
23
Mettre en œuvre une machine dont on
ne peut assurer ni la abilité ni la confor-
mité avec des nalités précises est un acte
irresponsable. On ne peut donc admettre
des machines totalement innovantes, des
machines non supervisées par l’ humain,
qui pourraient se donner à elles-mêmes
les buts de leur action et dénir leur
champ dopération. En ce sens-là il est
important de proscrire des systèmes inno-
vants. Lautonomie laissée à un système
doit toujours être envisagée avec comme
horizon le respect de la dignité de la per-
sonne humaine et des nalités que cette
dernière s’ est xée. Il ne servirait à rien
pour l’ humain de créer des machines qui
se retourneraient contre ce qu’ il a voulu.
Des SALAs innovants sont donc à pros-
crire pour cette raison, mais plus encore
parce que le pouvoir de tuer des êtres
humains ne peut être délégué purement et
simplement à une machine. Cela pourrait
induire à la longue une perte du sens de
la dignité de la personne et une sorte de
perte ou de dilution d’ une responsabilité
fondamentale que nous avons vis-à-vis de
la vie humaine.
Si des machines ont des capacités létales, il
est crucial que l’ on garde une supervision
ecace sur le pilotage des machines, sur leur
programmation, sur le processus d’ appren-
tissage s’ il existe et aussi sur les limites et
les caractéristiques (présence ou non de
civils, etc.) des domaines dans lesquels elles
opèrent. On ne peut donc accepter, pour
préserver une éthique basée sur la dignité de
la personne humaine et cohérente avec son
existence et ses volontés, mais aussi pour
préserver une possibilité de satisfaction des
règles du Droit International Humanitaire,
que des machines fortement supervisées.
Des machines faiblement autonomes
(non supervisées du point de vue de la
commande mais supervisées du point de
vue de la programmation et de lapprentis-
sage) pourraient être acceptées si elles ne
possèdent pas de capacités létales. Mais si
elles en disposent, l’ absence de supervision
eective, qui caractérise ici par dénition
l’ autonomie, présente des risques trop
importants pour l’ humain pour être
acceptées.
Des systèmes automatisés à capacité létale
pourraient être acceptés que sils sont
déployés dans des zones parfaitement
contrôlées et où lon peut assurer leur par-
faite conformité avec le Droit International
Humanitaire. Mais il importe de remar-
quer que de tels systèmes doivent être à
tout moment susceptibles d’ être désacti-
vés. Ceci implique donc une supervision
constante.
Dans tous les cas donc, lusage de systèmes
d’ armes robotisés non télé-opérés doit être
associé à une supervision forte. Les SALAs
au sens d’ armes létales non-supervisées,
ou au sens d’ armes innovantes doivent être
proscrites.
Justice, Police et
algorithmes
Les techniques et leur amélioration sont
au cœur de tout travail d’ investigation
policière, de la rationalisation des faits
incriminés et de la manifestation de la
vérité judiciaire. Photographie, empreintes
digitales, ADN, vidéosurveillance, bracelet
électronique, visioconférence, etc. équipent
depuis longtemps les professionnels des
24
services régaliens de la Police et de la
Justice. Entre mythe de la prédiction des
intentions criminelles et dénonciation des
risques de dérive liberticide, les technolo-
gies numériques appliquées au domaine
régalien de la Police et de la Justice
demandent à ne pas être prises isolément
des contextes professionnels, de leur crise
de légitimité, de l’ oce du juge voire de la
philosophie du droit.
Technologies et crise
de légitimité de la Police
Les questions soulevées par l’ accroissement
des technologies de surveillance utilisées
par les pouvoirs régaliens, de Police notam-
ment, ont déclenché d’ une part une vaste
production ctionnelle anxiogène dans la
lignée du «Big brother» d’ Orwell et une
importante production académique désor-
mais regroupée au sein des surveillance
studies et alimentée par les travaux critiques
de Foucault et Deleuze18. Cette double litté-
rature très répandue, anxiogène et critique,
obère bien souvent la complexité de la réa-
lité, souvent moins ecace, de l’ usage des
technologies par les forces de lordre. Il est
fréquent que la caricature et les généralisa-
tions l’ emportent au détriment dune obser-
vation précise de la manière dont les univers
du droit et de la Justice contribuent aussi à
imprimer leur marque à ces technologies.
On oublie ainsi que les techniques de vidéo
surveillance permettent aussi de “surveiller
les surveillants”. On ne compte plus en
eet, les scandales et la crise de légitimité
qui frappent les forces de Police en géné-
ral quand des témoins lment avec leur
téléphone portable et diusent presque en
temps réel des scènes de violence légitime
ou non de l’ action policière. En eet, les
techniques numériques de surveillance,
voire d’ espionnage, sont duales. Leon-
drement de leur coût, leur popularisation,
et leur diusion open source19 permettent
aussi aux citoyens de « s’ équiper » de
moyens de surveillance inédits et de pro-
duction éventuelle de preuves d’ infraction.
Les processus politiques de modernisation
et de managérialisation des forces de
Police, tout comme pour la Justice, ont
aussi une responsabilité importante dans la
situation de crise policière. La perception
d’ une faible ecacité et d’ un usage excessif
de la force imprime une image négative au
détriment de la fonction protectrice dévo-
lue à ce service régalien.
Les volontés politiques achées de réduire
la délinquance par la mise en place de
mesures quantitatives de l’ ecacité poli-
cière ont contribué à faire percevoir les
forces de l’ ordre comme soumises à une
politique du chire, notamment avec le
secours de nouvelles technologies comme
l’ automatisation du contrôle de vitesse et sa
répression. Le “management par objectif ,
la surveillance des citoyens ordinaires par
de nouveaux dispositifs techniques, le for-
malisme, l’ automatisation et la massica-
tion des sanctions ont durablement aecté
18. Foucault, Michel (1975), Surveiller et punir, Gallimard. G. Deleuze et F. Guattari (1980), Mille Plateaux, Paris, Minuit.
19. Des plans open source de dispositifs d’ écoute auparavant l’ apanage des services de Police et de renseignement et
très onéreux sont désormais librement accessibles et réalisables avec quelques connaissances en électronique pour un
coût modique.
25
la représentation des forces de Police
et leur fonctionnement interne tiraillé
comme jamais entre légalisme et ecacité.
Dans ce contexte dégradé depuis une
quinzaine d’ années sur le terrain de la
délinquance du quotidien, cette crise de
légitimité s’ est conjuguée avec l’ avènement
du terrorisme de masse depuis 2001. La
pression politique et sociale sur les forces
de l’ ordre et sur leur capacité d’ investiga-
tion a brutalement changé d’ échelle. Vue
l’ ampleur de l’ impact médiatique, sociétal
et politique du moindre attentat réussi,
l’ accent tactique ne va plus être seulement
focalisé sur la désignation du coupable par
le biais de l’ administration de la preuve
puis de sa judiciarisation mais bien sur la
détection de l’ intention criminelle accom-
pagnée de ses risques objectifs en matière
de libertés publiques.
Ce changement - qui peut paraître
minime - est en fait déterminant pour
expliquer comment, conjugué à une crise
de perception, la Police va se tourner vers
des solutions algorithmiques de prévision
du crime et plus largement des infractions.
Ainsi, le législateur a pu autoriser, en France
notamment, la mise en place de dispositifs
très larges de surveillance des communica-
tions électroniques20.
Dans le cas exceptionnel du terro-
risme- mais qui pourrait être susceptible
d’ impacter l’ ensemble des procédures
policières en raison de la capacité des
dispositifs techniques à imposer leur
design - la technologie colonise progressi-
vement toute la chaîne pénale. Or, le juge
est aussi le contrôleur des investigations
et, à ce titre, il doit être en mesure de tenir
à distance les procédures de lenquête
policière. Selon le Pr Bertrand Warusfel:
« Une chaîne continue risque d’ introduire
de la continuité entre Police et Justice là où,
aujourd’ hui, il y a rupture nécessaire. Face
à la montée des outils d’ aide à la décision
juridique, la qualication juridique doit
rester une prérogative du juge, notamment
si l’ on souhaite garder lindividualisation
de la Justice»21. Tout comme les frontières
entre militarisation des forces de l’ ordre
et policisation de l’ armée dans le cas de
la lutte contre le terrorisme, les frontières
entre Justice et Police ont tendance par la
diusion de procédures algorithmiques à
se brouiller.
L’ oce du juge à l’ ère
numérique
An de mieux mesurer les conséquences
des technologies numériques dans la
sphère judiciaire et sa salutaire distinction
des procédures policières, il nous faut
revenir avec un éclairage historique et
anthropologique sur deux concepts fon-
damentaux: celui du juge et de son oce.
20. Loi sur la Sécurité intérieure, Article L 851-3: « Dans les conditions prévues au chapitre Ier du titre II du présent
livre et pour les seuls besoins de la prévention du terrorisme, il peut être imposé aux opérateurs et aux personnes
mentionnés à l’ article L. 851-1 la mise en œuvre sur leurs réseaux de traitements automatisés destinés, en fonction de
paramètres précisés dans lautorisation, à détecter des connexions susceptibles de révéler une menace terroriste».
21. Bertrand Warusfel cité par Guillaud Hubert (2017), “Vers la Justice analytique: entre performance et
optimisation,
http://www.internetactu.net/2017/07/25/vers-la-Justice-analytique-33-entre-performance-et-optimisation/
26
Leurs dénitions et leurs traductions,
d’ une part dans le droit continental et
d’ autre part dans les sociétés encadrées par
la common law, sont essentielles pour saisir
la question complexe et contemporaine de
la relation entre magistrats et technologie.
Comme le rappelle Julie Allard22, la fonc-
tion judiciaire moderne, en opposition
au concept doce, a refoulé l’ origine
religieuse de la dénition de l’ ocialité
du juge qui fonde pourtant son autori
et sa légitimité. Ce refoulement, dans son
sens le plus freudien, invite Julie Allard à
s’ intéresser à ses conséquences en parti-
culier dans le contexte de la modernité
technologique.
Lautorité du juge se fonde sur trois
principes: sa vertu, comme capacité per-
sonnelle à rendre la bonne décision en
fonction de chaque situation; le peuple qui
lui confère représentativité et légitimité et
une transcendance (Dieu, Roi, État, Loi...)
qui instaure une sacralité, même séculière,
de son oce. Lhistoire de l’ oce du juge à
l’ ère moderne va, en abandonnant progres-
sivement un ancrage théologico-politique,
radicaliser la dépersonnalisation de l’ oce
à travers “la gure du juge-automate, mais
aussi à travers la codication, la nomina-
tion des juges par un pouvoir central et
leur intégration dans une hiérarchie qui
permet de mieux les contrôler. Le juge
tient toujours son autorité dune entité
qui le dépasse et qui reste extérieure à son
oce, mais celle-ci est très largement ratio-
nalisée: l’ autorité ne réside plus en Dieu
mais dans le texte de loi, dans le code”23.
Progressivement, et ce mouvement saccé-
lère avec la possibilité de transférer des
décisions à une machine algorithmique,
l’ autorité du juge sexternalise et se déper-
sonnalise dans un corpus de textes (et déjà
sémantiquement de codes) qui donne le
jour à une dénition particulière de son
autorité qui réside désormais dans sa com-
pétence à connaître dans le détail les textes
juridiques dont il tire son autorité à pré-
sent rationalisée, dépolitisée et sécularisée.
D’ un oce exercé en vertu dune autorité
transcendante, le juge moderne exerce une
fonction tirée de sa connaissance des textes
et des codes de lois. Réduite à une maîtrise
formelle des connaissances juridiques, on
comprend mieux pourquoi nalement une
intelligence articielle pourrait, dans un
premier temps au moins, l’ épauler dans
cette approche réductionniste de la Justice.
Voire, à terme, pour certains domaines
routiniers de lapplication de la loi (droit
de la famille, infractions routières...) le
remplacer.
La question de la légitimité du juge
demande aussi quelques éclaircissements.
Depuis l’ Antiquité, le rapport entre peuple
et magistrature est articulé avec les notions
de citoyenneté et de jugement comme acte
éminemment politique. Chaque citoyen
pouvant être juge par tirage au sort. Cette
association du peuple au juge garantit
donc la légitimité politique des décisions.
C’ est ici un point essentiel de la légitimité
de la Justice, notamment encore fortement
22. Allard, Julie (2013), Loce du juge : entre sacré et politique, Institut des Hautes Etudes sur la Justice.
http://forumdelaJustice.fr/ihej_wp/wp-content/uploads/2013/10/Julie_Allard_loffice_du_juge_entre_sacre_et_
politique.pdf
23. Allard, Julie (2013), idem, p. 3.
27
présente en common law, où le rôle du jury
est déterminant là où il est très atténué
dans le droit continental, à l’ exception
des jurys d’ assise. Le jury citoyen est donc
historiquement lié à la démocratie et à la
légitimité politique des magistrats. Dans
cette perspective, l’ opacité des boîtes
noires algorithmiques plaiderait pour une
légitimité défaillante en raison des dicul-
tés de compréhension de leurs procédures
par le citoyen, totalement exclu de leur
légitimation politique.
En contrepoint de ce fondement citoyen et
politique de la Justice, Platon avait mis en
garde justement envers l’ irrationalité des
foules et leur sensibilité aux eets émotion-
nels de la rhétorique. Le juge professionnel, à
l’ inverse, étant censé être insensible aux eets
de l’ émotion et capable de faire triompher la
vérité. Aujourd’ hui, c’ est bien cette concep-
tion qui est retenue: le juge tire sa légitimi
d’ un savoir et non d’ un pouvoir. Encore une
fois, l’ évolution possible vers une Justice
algorithmique au moins partiellement auto-
matisée trouve ici son ancrage historique
comme prolongement d’ un vaste processus
de dépolitisation. Plus un jugement est
détaché d’ un pouvoir politique, plus il est
paradoxalement perçu comme légitime.
Le management de la Justice
Le processus de rationalisation et de
dépersonnalisation du juge, à lœuvre
depuis l’ avènement des Temps modernes,
va subir, avant même notre questionne-
ment sur l’ impact des algorithmes dans la
Justice, une profonde accélération à travers
les idéologies de la gestion et du manage-
ment des aaires publiques. En eet, le
projet politique des sciences de gestion et
du management en général vise à instaurer
partout où cela est possible de vastes pro-
cessus de rationalisation à des ns d’ e-
cacité, en particulier budgétaire, par lopti-
misation de l’ allocation des ressources.
A l’ orée des années 1980, rendre plus légi-
time l’ État en général, et sa Justice en par-
ticulier, passe par une amélioration de son
ecacité. Le discours managérial est ainsi
sans ambiguïté: “Lactivité du juge consiste
à prester des services (les jugements ou
arrêts) qui lui sont décrits dans un cahier
des charges fort complexe (l’ ensemble des
textes légaux et réglementaires applicables)
émis par le législatif ou l’ exécutif. Cette
mission comporte incontestablement des
caractéristiques économiques des services
publics24. Lentrée de la rationalisation
économique dans le champ de la Justice
est un événement important et initiateur
d’ une approche réductionniste propre aux
technologies, numériques notamment. Les
critères de performance managériale sont
présentés comme une évolution évidente
et incontournable pour orir un service de
qualité aux usagers, redevable de l’ utilisa-
tion optimale des deniers publics.
Parmi les processus gestionnaires, la
standardisation est un outil cardinal de
représentation et de production de l’ e-
cacité. Ces techniques gestionnaires pré-
sentées comme purement rationalisantes
portent en elles de puissants mécanismes
24. Mattijs Jan (2006), “Implications managériales de l’ indépendance de la Justice”, Pyramides, 2006. Cité par Julie
Allard, ibidem, p. 9.
28
de contrôle par le biais de production de
moyennes statistiques sur la producti-
vité donnant lieu à lénoncé de règles de
“bonnes pratiques” qui deviennent de fait
des standards et des barèmes de loce du
juge moderne. La mise en gestion des pro-
cessus judiciaires participe donc lourde-
ment comme technique à atténuer encore
l’ idée d’ une Justice comme représentation
de l’ État et du juge comme délégué de sa
souveraineté. Elle devient un simple ser-
vice public qui prétend s’ être débarrassé
des enjeux de pouvoir au prot d’ une
hyper rationalisation gestionnaire. Lusage
des algorithmes dans la Justice franchit
donc un nouveau seuil dans le technicisme
déjà préparé de longue date.
Réductionnisme vs
Philosophie du droit
Dans ce mouvement managérial de pro-
duction de l’ ecacité budgétaire, la pro-
messe d’ une automatisation progressive
voit le jour avec l’ essor du numérique
depuis une vingtaine d’ années. La mobili-
sation des sciences de gestion, des calculs
probabilistes du risque, de la numérisation
et de la standardisation des décisions de
Justice en vastes bases de données ouvrent
de nouvelles voies de prévision en matière
de récidive et de passage à l’ acte.
Mais l’ alignement de la décision judiciaire
sur le résultat dun calcul statistique
normalisant une médiane standardisée
de la décision du juge pose un problème
de fond en terme de philosophie du droit
tant sur le principe dindépendance du
magistrat que sur le concept même de
jurisprudence. “Trancher un litige, cest
posséder, selon la tradition romaine qui
nous porte encore, la maîtrise de “l’ art du
bon et de l’ égal”, et non aligner paresseuse-
ment le jugement sur une médiane. Si un
tel mouvement l’ emportait, c’ est d’ ailleurs
l’ existence même de la Cour de cassation,
en charge de l’ harmonisation de la juris-
prudence, ou de toute cour suprême, qui
serait menacée25.
Selon Hélène Cazaux-Charles, directrice
de l’ Institut national des hautes études de
la sécurité et de la Justice, la question de la
redénition du domaine du contentieux
judiciaire au XXIème siècle se pose si le pro-
noncé d’ une décision pour le contentieux
de masse (aaires familiales, impayés,
contentieux routier...) est aligné sur un
barème résultant d’ un calcul. Ce calcul
automatisé ou semi-automatisé revêt les
atours dune vérité quasi-scientique,
hyper rationalisée et débarrassée des biais
humains de linterprétation des textes et
des contextes. Il sagit ici en terme de phi-
losophie du droit dun glissement discret
mais profond du droit de la preuve et de
son administration par loce du juge qui
impacte le statut de la Vérité judiciaire:
Ainsi, un certain credo (une religion?)
scientiste est tenté de se substituer à la
25. Marraud des Grottes, Gaëlle (2017), “Hélène Cazaux-Charles, directrice de l’ Institut national des hautes études
de la sécurité et de la Justice: « Lusage de l’ algorithme est un sujet auquel sera confrontée la Justice pénale dans les
années qui viennent»”, Actualité du Droit, 01 novembre 2017.
https://www.actualitesdudroit.fr/browse/vie-des-professions-juridiques-et-judiciaires/legaltech/9891/helene-cazaux-
charles-directrice-de-l-institut-national-des-hautes-etudes-de-la-securite-et-de-la-Justice-l-usage-de-l-algorithme-
est-un-sujet-auquel-sera-confrontee-la-Justice-penale-dans-les-annees-qui-viennent
29
démonstration rationnelle de la preuve,
qui s’ appuie certes sur les sciences et
techniques, mais dans un cadre procé-
dural qui lui confère le statut de simple
expertise et non de vérité26.
Si le concept de scoring se substitue pro-
gressivement à lart de l’ interprétation
sous l’ argument de l’ ecacité, de la abi-
lité et de la rationalité, c’ est le sens même
de la régulation de la violence sociale par
le langage humain et le débat judiciaire,
capable de maintenir la pérennité de la
paix civile, qui est remis en cause. La lente
substitution du registre cognitif au registre
normatif et son rêve de suppression de la
faillibilité et de l’ imperfection humaine,
y compris dans le registre de la Justice,
ouvre en outre la porte à de multiples pos-
sibilités de contournements de l’ impar-
tialité et de l’ égalité de tous devant la loi.
Au nal, il faut sans aucun doute aussi son-
ger à historiciser les diverses expériences
des organisations scientiques du pouvoir
et de l’ humanité. Le réductionnisme des
rapports sociaux au score calculé automa-
tiquement permettrait en eet de classer les
individus en fonction dune performance,
d’ un standard ou d’ une norme confondant
probabilité et vérité, corrélation et preuve.
Pour se prémunir de ces conséquences de
fond des algorithmes, notamment ceux
de seconde génération qui sont annoncés
comme apprenant par intelligence arti-
cielle, la magistrature devra avoir “accès à
la nature et aux modalités d’ agrégation des
données soumises à l’ équation algorith-
mique, comme à l’ économie de cette équa-
tion, pour pouvoir apprécier la rigueur, la
qualité, l’ impartialité de l’ administration
de la preuve27. La formation des juges et
une politique de recrutement de mathé-
maticiens et d’ ingénieurs capables au sein
du Ministère de la Justice d’ eectuer la
rétro-ingénierie seront nécessaires à la cer-
tication des algorithmes utilisés au même
titre que les autres experts techniques déjà
présents dans la chaîne judiciaire.
26. Marraud des Grottes, Gaëlle (2017), Idem.
27. Idem.
30
Lalgocratie comme substitut progressif à
la démocratie est-elle un futur au moins
partiellement envisageable ? Nous avons
voulu souligner dans cette contribution
que la colonisation progressive par des
algorithmes du domaine traditionnelle-
ment politique et régalien nest plus du res-
sort de la science-ction. Défense, Police
et Justice - comme fonctions éminemment
régaliennes - sont désormais directement
interrogées par cette question.
Cette situation se révèle comme une nou-
velle étape de la mise en nombre et de la
rationalisation des Hommes et de leur
gouvernement. Passant d’ un art de gou-
verner à une science du gouvernement,
les promesses decacité et d’ optimisation
par gouvernement automatisé, qui para-
chèvent le mouvement de bureaucratisa-
tion, sont anciennes et ses conséquences
bien connues: déresponsabilisation, dépo-
litisation et délégitimisation.
Sans être excessivement alarmiste, il s’ agit
ni plus ni moins de lavenir de la régu-
lation de la violence sociale et de la paix
civile qui sont en jeu dans lévolution du
rapport entre technologie et fonctions
régaliennes constitutives de l’ autorité et de
la légitimité des pouvoirs publics et - pour
ce qui concerne les questions de Défense,
de Police et de Justice- de l’ État de droit
lui-même.
Heureusement, en matière de réception
sociale des technologies, rien ne se passe
jamais comme prévu. Les limites de la sou-
veraineté utilitariste du règlement des pro-
blèmes par des outils dépolitisés deviennent
évidentes. La prise de conscience en cours
des biais et des limites réductionnistes des
algorithmes - sans même parler de ceux de
“l’ intelligence articielle” - permet de faire
émerger des controverses dans l’ espace
public qui permettront, il faut l’ espérer,
une repolitisation des enjeux collectifs.
Conclusion
31
ALLARD, Julie (2013), Loce du juge: entre sacré et politique, Institut des Hautes
Etudes sur la Justice.
http://forumdelaJustice.fr/ihej_wp/wp-content/uploads/2013/10/Julie_Allard_lof-
ce_du_juge_entre_sacre_et_politique.pdf
ANCELIN, Julien (2016), «Les systèmes darmes létaux autonomes (SALA): Enjeux
juridiques de l’ émergence dun moyen de combat déshumanisé», La Revue des droits de
l’ homme. Actualités Droits-Liberté.
ARENDT, Hannah (1972), Du mensonge à la violence. Essais de politique contemporaine,
trad. G. Durand, Paris, Calmann-Lévy, 1972 ; éd. poche, Paris, Presses-Pocket, 1989.
ARENDT, Hannah (2006), Les origines du totalitarisme, Le Seuil.
BENBOUZID, Bilel (2015), «De la prévention situationnelle au predictive policing»,
Champ pénal/Penal eld, Vol. XII.
BRAYER, Patrick C. (2016), “e Disconnected Juror: Smart Devices and Juries in the
Digital Age of Litigation,Notre Dame Journal of Law, Ethics & Public Policy Online, 2016.
CARDON, D. (2015), A quoi rêvent les algorithmes? Le Seuil.
CHAMAYOU G. (2013), éorie du drone, éd. La Fabrique, Paris.
CHRISTIN, A., (2017). “Algorithms in Practice: Comparing Web Journalism and
Criminal Justice.Big Data & Society 4 (2): 1-14.
DELEUZE, G. (1990), « Post-scriptum sur les sociétés de contrôle», L’ autre journal.
DELEUZE G., GUATTARI F. (1980), Mille Plateaux, Paris, Minuit.
DESROSIÈRES, A. (2010), La politique des grands nombres, La Découverte.
DEROSIERE, A. (2014), Prouver et gouverner, une analyse politique des statistiques
publiques, La Découverte.
FOUCAULT, M. (1966), Les mots et les choses. Une archéologie des sciences humaines,
Gallimard.
FOUCAULT, M. (2004), Naissance de la biopolitique, Cours au Collège de France, 1977-
1978, Seuil/Gallimard.
FOUCAULT, Michel (1975), Surveiller et punir, Gallimard.
GILLESPIE, T. (2013). e Relevance of Algorithms. Forthcoming in Media Technologies:
Essays on Communication, Materiality and Society, ed. Tarleton Gillespie, Pablo
Boczkowski, and Kirsten Foot. Cambridge, MA: MIT Press.
Références
32
GOLUMBIA, David (2009), e cultural logic of computation, Harvard University Press.
GRAEBER, D. (2015), Bureaucratie, Les liens qui libèrent.
GRINBAUM, Alexei (2016), Gouverner le code qui nous gouverne, 2ème journée de la
CERNA, 1 février 2016.
GUILLAUD Hubert (2017), «Vers la Justice analytique (3/3): entre per-
formance et optimisation», http://www.internetactu.net/2017/07/25/
vers-la-Justice-analytique-33-entre-performance-et-optimisation/
HAYEK, F. A.(1973-79), Droit, législation et liberté, tome 2: Le Mirage de la Justice
sociale.
JACKSON, Brian A., BANKS, Duren, WOODS, Dulani, DAWSON, Justin C., (2017)
Future-Proong Justice Building a Research Agenda to Address the Eects of Technological
Change on the Protection of Constitutional Rights, RAND.
LAMBERT, D. (2015), «Les robots, les hommes et la paix, Esquisse dune évaluation
éthique de la robotique contemporaine», Revue des Questions Scientiques, 186 (3).
LATOUR, B., CALLON M. (2013), «Tu ne calculeras pas», Sociologie des agencements
marchands. Textes choisis, Paris, Presses des Mines, Collection Sciences sociales.
LUM, Cynthia, KOPER, Christopher and W. TELEP, Cody, «e Evidence-Based
Policing Matrix» (2011). Journal of Experimental Criminology, 7(1), 3-26.
MARRAUD DES GROTTES, Gaëlle (2017), “Hélène Cazaux-Charles, directrice
de l’ Institut national des hautes études de la sécurité et de la Justice: «Lusage de
l’ algorithme est un sujet auquel sera confrontée la Justice pénale dans les années qui
viennent»”, Actualité du Droit.
MATTIJS Jan (2006), «Implications managériales de l’ indépendance de la Justice»,
Pyramides, 2006.
MILLER, P., OLEARY T., «Accounting and the construction of governable person»,
Accounting, Organisation and Society, vol. 12 n°3, p. 235-265.
MOROZOV, Evgeny (2014), Pour tout résoudre cliquez ici: Laberration du solution-
nisme technologique, FYP éditions.
OFFICE DES NATIONS UNIES À GENÈVE (2016), Convention sur certaines armes
classiques, “Report of the 2016 Informal Meeting of Experts on Lethal Autonomous
Weapons Systems (LAWS)”, Submitted by the Chairperson of the Informal Meeting of
Experts.
O’ NEIL, C. (2016), Weapons of math destruction, How big data increases inequality and
threatens democracy, Crown.
PASQUALE, F. (2011), «Restoring transparency to automated authority», Journal
on Telecommunications and High Technology Law, Vol. 9, No. 235, 2011, Seton Hall
Research Paper No. 2010-28.
33
QUELHAS D. (2016), «La Convention sur linterdiction de certaines armes classiques:
l’ occasion d’ un débat ouvert sur les systèmes d’ armes létaux autonomes (1)», Bulletin
Sentinelle no 471.
ROSANVALLON, Pierre (2008), La légitimité démocratique, Le Seuil.
ROUBAN, Luc, (2004)«Les paradoxes de l’ État postmoderne», Cités 2004/2 (n° 18),
p.11-22.
ROUVROY, Antoinette, BERNS, T. (2013), «Gouvernementalité algorithmique et
perspectives d’ émancipation. Le disparate comme condition dindividuation par la
relation ?», Réseaux, vol. 177, no. 1, pp. 163-196.
SCHMITT, Carl (2006) «Depoliticized Politics, from East to West», New Le Review,
41, sept-oct 2006, p. 29-45.
SHARKEY N. (2009), «Weapons of Indiscriminate Lethality», Forum des informati-
ciens pour la paix et la responsabilité sociétale (FIfF Kommunikation), no1/09, pp. 26-29.
SUPIOT, A. (2015), La gouvernance par les nombres, Fayard.
VERUGIO G., ABNEY K. (2012), «Roboethics: e Applied Ethics for a New
Science», in LIN (P.) (dir.) et al., Robot Ethics: e ethical and Social Implications of
Robotics, Cambridge, MIT Press.
WEBER, M. (1913), Sociologie de la religion - Économie et Société.
ResearchGate has not been able to resolve any citations for this publication.
Article
Full-text available
Big Data evangelists often argue that algorithms make decision-making more informed and objective—a promise hotly contested by critics of these technologies. Yet, to date, most of the debate has focused on the instruments themselves, rather than on how they are used. This article addresses this lack by examining the actual practices surrounding algorithmic technologies. Specifically, drawing on multi-sited ethnographic data, I compare how algorithms are used and interpreted in two institutional contexts with markedly different characteristics: web journalism and criminal justice. I find that there are surprising similarities in how web journalists and legal professionals use algorithms in their work. In both cases, I document a gap between the intended and actual effects of algorithms—a process I analyze as “decoupling.” Second, I identify a gamut of buffering strategies used by both web journalists and legal professionals to minimize the impact of algorithms in their daily work. Those include foot-dragging, gaming, and open critique. Of course, these similarities do not exhaust the differences between the two cases, which are explored in the discussion section. I conclude with a call for further ethnographic work on algorithms in practice as an important empirical check against the dominant rhetoric of algorithmic power.
Article
Full-text available
The next phase of evidence-based policing requires both scholars and practitioners to move from lists of specific studies about “what works” to using that information strategically. This requires developing generalizations or principles on the nature of effective police strategies and translating the field of police evaluation research into digestible forms that can be used to alter police tactics, strategies, accountability systems, and training. In this article, we present a tool intended for such use: the Evidence-Based Policing Matrix. The Matrix is a consistently updated, research-to-practice translation tool that categorizes and visually bins all experimental and quasi-experimental research on police and crime reduction into intersections between three common dimensions of crime prevention—the nature of the target, the extent to which the strategy is proactive or reactive, and the specificity or generality of the strategy. Our mapping and visualization of 97 police evaluation studies conducted through December 31, 2009, indicate that proactive, place-based, and specific policing approaches appear much more promising in reducing crime than individual-based, reactive, and general ones. We conclude by discussing how the Matrix can be used to guide future research and facilitate the adoption of evidence-based policing. KeywordsEvidence-based policing–Effectiveness–Matrix–Evaluation–Experiments–Hot spots policing
Article
Les robots-tueurs, techniquement denommes systemes d’armes letaux autonomes (SALA), sont sur le point de constituer un nouveau moyen de combat. L’etendue de cette nouvelle categorie est au cœur des discussions internationales menees dans le cadre du suivi de la Convention sur certaines armes classiques. L’analyse de leurs implications potentielles pour le droit international depasse le cadre d’un simple examen de liceite.
Article
In this article we deal with a body of scientific article corresponding to an important moment in the process of the legitimation of situational crime prevention: research on repeat victimization and the construction of predictive algorithms. This body of work allows us to explore a controversy often ignored, between Ken Pease and Tim Hope on the interpretation of the results of statistical modeling of the distribution of victimization in the population. Put into perspective with the research results of Ken Pease and colleagues, Tim Hope’s critique can account for the ignorance that evolves as knowledge develops on victimization prevention and its associated innovations. In conclusion, we call for a definition of public policies of prevention and safety, not from knowledge produced by experts, but from a public agreement on which researchers do not agree.
Article
Leading finance, health care, and internet firms shroud key operations in secrecy. Our markets, research, and life online are increasingly mediated by institutions that suffer serious transparency deficits. When a private entity grows important enough, it should be subject to transparency requirements that reflect its centrality. The increasing intertwining of governmental, business, and academic entities should provide some leverage for public-spirited appropriators and policymakers to insist on more general openness.However well an "invisible hand" coordinates economic activity generally, markets depend on reliable information about the practices of core firms that finance, rank, and rate entities in the rest of the economy. Brandishing quasi-governmental authority to determine which enterprises are funded and found, they need to be held to a higher standard than the average firm.
Article
A quoi sert un indicateur de satisfaction des usagers dans la gouvernance d’une collectivité territoriale ? Telle est la question à laquelle cet article tente d’apporter des éléments de réponse. S’appuyant sur les travaux analysant le contrôle de gestion comme un outil de gouvernance disciplinaire, l’étude proposée de huit indicateurs montre que les dimensions apprentissage et discipline de l’évaluation, loin d’être exclusives l’une de l’autre, sont imbriquées et adaptées à chaque contexte de gouvernance. La logique de discipline apparaît ainsi liée à la fonction cognitive d’apprentissage des services publics avec son environnement en étant source de visibilité, comparabilité et surveillance. Afin de prendre en compte les réticences des acteurs-partenaires et d’éviter l’échec des démarches, des activités de traduction sont mises en œuvre.
Essais de politique contemporaine
  • . G Durand
  • Paris Calmann-Lévy
ARENDT, Hannah (1972), Du mensonge à la violence. Essais de politique contemporaine, trad. G. Durand, Paris, Calmann-Lévy, 1972 ; éd. poche, Paris, Presses-Pocket, 1989. ARENDT, Hannah (2006), Les origines du totalitarisme, Le Seuil.
  • Patrick C Brayer
BRAYER, Patrick C. (2016), "The Disconnected Juror: Smart Devices and Juries in the Digital Age of Litigation, " Notre Dame Journal of Law, Ethics & Public Policy Online, 2016.