Content uploaded by Pierre Gueydier
Author content
All content in this area was uploaded by Pierre Gueydier on Mar 23, 2018
Content may be subject to copyright.
1
Pouvoir régalien
et algorithmes,
vers l’ algocratie ?
Janvier 2018
2
Cette étude a été réalisée avec le soutien de la
Fondation IF - International foundation
3
Sous la direction de Pierre GUEYDIER, Directeur de la Recherche, OPTIC
Avec la contribution de :
Dominique LAMBERT, Université de Namur
Et la participation de :
Emmanuelle MIGNON
Louis ASSIER ANDRIEU, Science Po Paris
Francesco ANDRIULLI, Institut Mines -Telecom
Véronique TORNER
Adrienne CHARMET
Le réseau OPTIC
Réseau de recherche internationale pluridisciplinaire créé en 2012, OPTIC anime des
groupes de travail dans les lieux où se développent les technologies de rupture avec
ceux qui les conçoivent. A Berkeley, Stanford, Boston, Genève ou Paris, les experts du
réseau étudient l’ impact de ces technologies d’ avenir sur les activités humaines et sur nos
sociétés.
OPTIC relie des universitaires (en sciences sociales, philosophie, économie, ...), des
entrepreneurs et la société civile créant un cercle de réexion et d’ innovation dédié aux
enjeux éthiques des technologies de rupture. L’ objectif d’ OPTIC est de créer des espaces
de dialogue entre des acteurs majeurs de diérentes disciplines tous tournés vers l’ inno-
vation technologique et ses implications sur la vie humaine.
OPTIC est porté par la Human Technology Fondation dont le Conseil d’ Administration
est présidé par S.E. le Prince Nicolas du Liechtenstein et le Comité Exécutif par le Fr. Eric
Salobir.
Initié par l’ Ordre catholique des Prêcheurs, OPTIC n’ en reste pas moins totalement
autonome dans le choix de ses recherches thématiques et la direction des travaux de
recherche.
optictechnology.org
contact@optictechnology.org
4
Disruptive technologies, technologies de rupture. Le terme,
qui a faveur des entrepreneurs et des médias, sonne comme
l’annonce d’ une révolution; celle des nouvelles technes qui
s’immiscent dans chaque aspect de notre quotidien, trans-
formant notre façon de travailler, de communiquer, de
nous divertir ou de nous soigner: l’ économie, la politique,
la nance et le système de santé en sont profondément
impactés au point que la neutralité de ces technologies
apparaît de plus en plus comme une illusion. On les
découvre porteuses, de pré-requis, de valeurs et, pour tout
dire, d’ un projet de société, parfois inconsciemment inscrit
dans leur code par leurs concepteurs.
Aborder la complexité et la rapidité de ces transformations, an d’ en évaluer les opportu-
nités comme les risques, requiert une approche internationale et trans-disciplinaire, qui
dépasse le monde de la « tech» et celui de l’ entreprise. Pour mener à bien cette tâche, le
réseau OPTIC rassemble depuis plusieurs années des spécialistes des sciences humaines
et de la technologie, ainsi que des représentants du monde des aaires et de la société
civile. Ces travaux, menés à huis clos, ont permis de dresser un panorama clair des enjeux
sociétaux et de sensibiliser les acteurs de la révolution technologique aux enjeux éthiques
de leurs décisions.
Pour la première fois en 2018, OPTIC a décidé d’ ouvrir cette réexion en publiant une
série de courts livres blancs sur les sujets qui nous semblent les plus épineux. Cette
démarche vient en complément du travail réalisé par les instituts de recherche public et
les cabinets de conseil. Notre approche est spéciquement centrée sur la place de l’hu-
main dans les bouleversements que nous étudions.
Ces premiers documents, rédigés à Paris et présentés au Collège des Bernardins, ouvrent
la voie à une série d’ autres publications par les équipes de recherche d’ OPTIC, en lien
avec de grands centres universitaires, à Genève, Toronto, Boston, Berkeley, Rome et
Oxford.
Je vous invite à consulter l’actualité de nos travaux de recherche sur
www.optictechnology.org, à réagir et à prendre part à cette conversation.
Eric Salobir o.p.
Président d’ OPTIC
Partenaires :
Getty
5
Ce texte souhaite apporter une contribution à la compréhension des rapports entre
pouvoir politique, gouvernement des hommes et intégration progressive des algorithmes
dans les fonctions régaliennes de l’ État (Défense, Police et Justice).
Pour ce faire nous aborderons les processus de rationalisation des bureaucraties étatiques
et leur parachèvement par les algorithmes implantés au cœur des instruments régaliens
de gouvernement, les enjeux du concept contemporain de «l’ État plateforme» et l’ usage
de plus en plus intensif d’ algorithmes au sein même des fonctions régaliennes de Défense,
de Police et de Justice.
Le texte interroge le concept “d’ algocratie” qui émerge progressivement de l’ intégration
de ces outils réductionnistes dans la sphère de la décision publique.
Cette situation se révèle comme une nouvelle étape de la mise en nombre et de la ratio-
nalisation des Hommes et de leur gouvernement. Passant d’ un art de gouverner à une
science du gouvernement, les promesses d’ ecacité et d’ optimisation par gouvernement
automatisé, qui parachèvent le mouvement de bureaucratisation, sont anciennes et ses
conséquences bien connues: déresponsabilisation, dépolitisation et délégitimisation.
Sans être excessivement alarmiste, il s’ agit ni plus ni moins de l’ avenir de la régulation
de la violence sociale et de la paix civile qui sont en jeu dans l’ évolution du rapport
entre technologie et fonctions régaliennes constitutives de l’ autorité et de la légitimité des
pouvoirs publics. La prise de conscience en cours des biais et des limites réductionnistes
des algorithmes - sans même parler de ceux de “l’ intelligence articielle” - permet de
faire émerger des controverses dans l’ espace public qui permettront, il faut l’ espérer, une
repolitisation des enjeux collectifs.
Résumé
6
Pouvoir régalien et algorithmes,
vers l’ algocratie ?
5 RÉSUMÉ
7 INTRODUCTION
8 LE RÉGALIEN ET LE NOMBRE
8 Rationaliser,quantieretprédire
11 Gouvernerparlaprédiction
13 La«plateformisation»del’État
15 Enjeuxalgorithmiquesetfonctionsrégaliennes
18 ALGOCRATIE
18 Lemonopoledelaviolenceetlaquestiondel’autonomie
dessystèmesd’armes
19 Risquesdessystèmesd’armeslétauxautonomes(SALAs)
22 Recommandations
23 Justice, Police et algorithmes
24 TechnologiesetcrisedelégitimitédelaPolice
25 L’ocedujugeàl’èrenumérique
27 LemanagementdelaJustice
28 RéductionnismevsPhilosophiedudroit
30 CONCLUSION
31 RÉFÉRENCES
7
Face à l’ érosion de l’ autorité institution-
nelle comme caractéristique de l’ État
post-moderne, nous faisons face à un
paradoxe. Objet et acteur de cette désins-
titutionnalisation sous l’ inuence externe
des processus de globalisation et l’ aai-
blissement interne de la dépolitisation de
ses instruments (agences, autorités indé-
pendantes, droit négocié...), la puissance
publique consciente de sa perte d’ autorité
manifeste d’ une part une volonté d’ ar-
mation de son pouvoir régalien – en parti-
culier dans le domaine sécuritaire – et une
orientation vers une gouvernance ouverte
qui voudrait s’ inspirer des prouesses des
plateformes numériques administrées par
des algorithmes.
Pour éclairer ce paradoxe, nous aborde-
rons en premier lieu les processus de ratio-
nalisation des bureaucraties étatiques et de
leur parachèvement par les algorithmes
implantés au cœur des instruments réga-
liens de gouvernement. Dans un second
temps, nous tenterons de décrypter les
enjeux du concept contemporain de
«l’ État plateforme». Nous dresserons par
ailleurs un état des lieux général de l’ usage
de plus en plus intensif d’ algorithmes au
sein même des fonctions régaliennes de
Défense, de Police et de Justice.
La seconde partie du texte interrogera
le concept “d’ algocratie” qui émerge
progressivement de l’ intégration de ces
outils réductionnistes dans la sphère de la
décision publique. Le cas extrême du droit
étatique de l’ exercice de la violence légi-
time retiendra notre attention avec la pro-
lifération de nouveaux systèmes d’ armes
de plus en plus autonomes. Cette question
n’ est pas un simple sujet d’ ingénierie et de
tactique militaire mais interroge le cœur
du pouvoir régalien, à savoir sa légitimité
théorique à user de la violence, même la
plus extrême.
Alors que les frontières entre Défense
et Police ont tendance à se brouiller
dans le contexte du terrorisme de masse,
nous nous intéresserons à l’ impact des
algorithmes dans la fonction policière
et sur la perception de son action par les
populations. Enn, nous discuterons des
promesses d’ optimisation de l’ ecacité de
la Justice par ces outils techniques et leurs
impacts sur cette institution symbolique,
fondatrice de la paix civile, son autorité et
sa légitimité.
Introduction
8
Nous souhaiterions ici expliciter le contexte
de la réexion sur le rapport entre pouvoir
politique, gouvernement des hommes et
processus de quantication. L’ ensemble
des mécanismes qui visent à représenter
et établir des correspondances est essentiel
pour comprendre la façon dont les méca-
nismes de pouvoirs agissent en se repré-
sentant le réel. À la fois en faisant émerger
une “réalité” qui à un moment et dans
un contexte donné produit un consensus
social mais qui, en même temps, par sa
fragilité, alimente le débat public.
Rationaliser, quantier
et prédire
Dans la constitution de l’ État régalien
moderne, la notion de bureaucratie est
essentielle comme l’ a montré Max Weber1.
La rationalisation est le cœur de cette idéo-
logie qui prétend user d’ outils de la science
pour agir sur le social. L’ histoire de cette
rationalisation de l’ art de gouverner permet
de comprendre comment au XIXème siècle
économie et politique, sous l’ impulsion
du positivisme, vont ériger des systèmes
sociaux basés sur l’ idée d’ une amélioration
des populations à travers la mise en place
de mécanismes rationnels de production de
savoir sur ces dernières an de les gouverner.
L’ outillage de rationalisation de la bureau-
cratie de gouvernement est constitué par les
vastes méthodes de la statistique publique
chargées de fournir représentations, équiva-
lences et modèles à l’ ecacité des pouvoirs
publics, censés être débarrassés de toute
idéologie. Les processus de quantication,
comme “science de l’ État”2, renforcent l’ idée
et la mise en œuvre d’ une rationalisation par
l’ usage d’ une discipline mathématique issue
du calcul des probabilités, chargé de guider
l’ action neutre et ecace de l’ État.
La raison statistique relève bien de la raison
d’ État – centrale pour le pouvoir régalien –
qui domine un espace social en même temps
qu’ il le mesure et le fait apparaître comme
une réalité. Délinquance, assurances, tarifs
douaniers, abilité des jurys, sondages
sont des objets statistiques dont les deux
principales fonctions socio-politiques sont
de classer et de coder. La taxinomie, les
nomenclatures et les catégories conduisent,
en empruntant à l’ histoire naturelle et la
médecine, à constituer une “science de
la société” administrative et mais aussi
morale (statistiques sur le mariage, les
décès, la récidive, le suicide).
Ces outils – et c’ est un rôle central et
discret – entraînent une circularité entre
savoir et action. Les “données” appa-
raissent comme conséquence d’ une action
Le régalien et le nombre
1. Max Weber, Économie et société, 1921.
2. Desrosières, A., La politique des grands nombres, La Découverte, 2010
9
organisée, “l’ information” résulte d’ une
mise en forme et d’ une structuration de
ces données à travers une nomenclature.
Des variables apparaissent par glissement
de critères antérieurs de classement et de
codage comme par exemple le passage de la
catégorie de pauvre vers celle de chômeur,
de métier vers celle d’ emploi, de crime vers
celle de délinquance.
Nous souhaitons ici souligner la liation
de l’ usage des algorithmes par l’ État
régalien, avec les concepts historiques de
bureaucratie et de statistique. Les algo-
rithmes implémentés dans l’ architecture
bureaucratique de l’ État renforcent une
conception rationaliste, voire réduction-
niste, des rapports sociaux mais, encore
davantage, permettent une automatisation
des décisions orientée par une analyse pré-
dictive des données publiques.
Une des principales caractéristiques des
algorithmes consiste en leur fonctionne-
ment à la fois invisible, propre aux instru-
ments de gouvernement en général et leur
opacité – le classique eet “boite noire”,
aggravée par les nouvelles générations
d’ algorithmes qui, couplés aux avancées
de l’ Intelligence articielle, deviennent
dynamiques et “apprenants”.
À la diérence des statistiques
traditionnelles axées sur les notions de
moyenne et de norme, les opportunités
d’ agrégation et d’ analyse de quantités
massives de données prétendent non plus
établir des représentations et des modèles
de la réalité, mais bien promettre de
saisir la réalité sociale “comme telle” dans
son ensemble dans une objectivisation
absolue du réel. Cette gouvernance par les
nombres conduit - à mesure que les outils
de représentations se complexient - à
substituer la carte au territoire, à perdre
progressivement pied avec la réalité puis
toute prise sur elle.
De surcroît, l’ objectivité et la rationalité
des algorithmes, comme celle de toute
bureaucratie ne sont qu’ apparentes et
ctionnelles. Il ne s’ agit pas bien sûr de
disqualier globalement l’ intérêt des algo-
rithmes dans les aaires publiques mais de
prendre conscience des eets de leur usage
en examinant leur genèse. Les mathéma-
tiques en tant que discipline intellectuelle
exercent une autorité symbolique très forte.
Leur caractère mystérieux et impénétrable
impose d’ emblée un ascendant intellectuel
sur le profane. Et de fait, au sein d’ une
organisation dont le cœur d’ activité repose
sur l’ usage d’ algorithmes, la connaissance
précise de leur fonctionnement est con-
née à un très faible nombre d’ ingénieurs
et de mathématiciens non pas seulement
par nécessité de secret industriel mais par
la complexité inhérente à leurs caractéris-
tiques épistémologiques. Heureusement,
des auteurs mathématiciens comme Cathy
O’ Neil3 ont fait œuvre de vulgarisation et
de pédagogie pour souligner comment les
algorithmes - loin de rationaliser le réel - y
injectent de très nombreux biais.
O’ Neil souligne que le principal problème
de l’ usage des algorithmes n’ est pas dans
leurs évidentes limites mais dans l’ eet de
3. Cathy O’ Neil, Weapons of Math destruction, Crown Random House, 2016.
10
vérité qu’ ils produisent sur leurs usagers et
leurs concepteurs sous couvert du mystère
mathématique dont ils sont entourés. La
croyance dans leur ecacité et leur objec-
tivité est donc particulièrement grande et
nécessite un eort de démystication et de
pédagogie. L’ auteur rappelle ainsi qu’ une
donnée n’ est justement jamais “donnée”.
Comme nous l’ avons vu pour la statistique,
la simple observation d’ un phénomène
social (délinquance, chômage, menace
sécuritaire...) est le résultat a minima d’ une
nomenclature et de l’ action d’ un capteur
dans et sur un environnement. Ensuite,
l’ action qu’ est censée opérer un algo-
rithme est elle aussi le fruit d’ une décision
humaine (détecter des délinquants, identi-
er des ennemis, empêcher la récidive...).
Pour O’ Neil: «le data scientist n’ est ni plus
ni moins qu’ un traducteur, qui traduit des
décisions et les implémente dans un code.
[…] il ne faut surtout pas oublier cela: les
mathématiques n’ éclipsent pas le contexte
culturel dans lequel le code est rédigé.». La
mise en évidence de ces biais ne doit pas
discréditer le concept d’ algorithme mais
simplement, au delà d’ une conception
magique des mathématiques, encourager
à concevoir ces outils comme de simples
“processus de prise de décision” dont les
biais doivent être assumés et explicités
aux usagers et aux autorités publiques qui
décident de les implémenter dans leur pro-
cessus bureaucratique.
Dans une approche plus historique et pour
mieux saisir les enjeux de la gouvernance
algorithmique, il faut aussi considérer
qu’ une organisation bureaucratique porte
en elle deux principales caractéristiques:
en cherchant à rationaliser et faire entrer
l’ art de gouverner dans un processus
scientique, elle produit déresponsabi-
lisation et dépolitisation. Le processus
de déresponsabilisation inhérent à toute
bureaucratie a été longuement souligné
par Hannah Arendt4 dans son œuvre sur
les origines du totalitarisme. En refusant
de dénir le pouvoir par des mécanismes
de domination de l’ homme sur l’ homme
– à rebours de l’ essentiel de la pensée
politique occidentale – et la violence5
comme manifestation de ce pouvoir,
Arendt va contester que l’ usage légal
de la violence sut à dénir le pouvoir
régalien, elle n’ en est que l’ instrument.
Pour Arendt, un des eets des organisa-
tions bureaucratiques est de conduire à
des comportements déresponsabilisés.
Sans pouvoir entrer ici dans les détails, les
historiens6 du XXème siècle soulignent que
l’ administration bureaucratique s’ impose
progressivement comme un pouvoir de
gouvernement autonome et indépen-
dant du pouvoir politique. La fonction
publique se pense comme une institution
neutre et rationnelle davantage au service
des intérêts publics que des élus. Au siècle
passé, la bureaucratie a pu se revendiquer
d’ une dimension presque sacerdotale
comme gardienne du Bien commun et de
la pérennité rationaliste des institutions
politiques. À la lumière de cette pensée qui
associe bureaucratie, déresponsabilisation
4. Hannah Arendt, Les origines du totalitarisme, Le Seuil, 2006.
5. Hannah Arendt, Du mensonge à la violence. Essais de politique contemporaine, trad. G. Durand, Paris, Calmann-
Lévy, 1972; éd. poche, Paris, Presses-Pocket, 1989.
6. Pierre Rosanvallon, La légitimité démocratique, Le Seuil, 2008.
11
et in ne totalitarisme, l’ introduction de
processus algorithmiques dans l’ appareil
administratif de l’ État doit a minima
ouvrir le débat sur la portée politique
de ce choix au-delà d’ un solutionnisme
technique naïf, mais sans toutefois verser
dans la panique morale et la théorie du
complot.
Le second courant d’ analyse des consé-
quences historico-politiques de la bureau-
cratie insiste sur le processus de dépoli-
tisation, notamment souligné par Carl
Schmitt7. La perte de conance dans le
personnel politique élu a atteint des som-
mets rarement égalés. Phénomène certes
ancien et continu, cette tendance a pour
eet une désacralisation presque complète
des autorités institutionnelles et politiques.
Par un eet de vases communicants, cette
perte d’ autorité symbolique se traduit par
une prolifération normative transférée
à un pouvoir bureaucratique paré des
vertus du rationalisme et débarrassé de
l’ incertitude idéologique. La “résolution
des problèmes” devient le but de l’ activité
politique à travers des instruments délibé-
rément dépolitisés comme les agences, les
autorités indépendantes ou le droit négo-
cié. Cette tendance de fond est manifeste-
ment aggravée par l’ usage des algorithmes
présentés comme l’ aboutissement du pro-
cessus de rationalisation du réel. Même si
le concept “d’ open government”8 souhaite
réenchanter le politique par une partici-
pation de la “multitude” à la construction
de la Cité, sa capacité cruciale à générer
de l’ autorité reste très hypothétique.
Gouverner par la
prédiction
Ces outils algorithmiques n’ arrivent donc
pas dans un terrain vierge de techniques
de gouvernement. Il semble important
et judicieux de rattacher la réexion aux
questions anciennes posées par les instru-
ments de gouvernement.
La gouvernance algorithmique peut être
problématisée comme le dernier appro-
fondissement en date du rôle essentiel
des instruments de gouvernement. Cette
approche “par les instruments” permet de
décrire non pas les acteurs et les contenus
des politiques sectorielles mais plutôt leur
design comme élément central porteur des
conditions de choix et des eets rétroactifs
de ces moyens rationnels.
Le recours à de tels instruments et à de
telles techniques n’ est jamais une ques-
tion neutre. Toute technique est créatrice
d’ eets propres qui débordent les eets
attendus. L’ idéal grec d’ une cité gouvernée
par les lois et non par les hommes a pris,
grâce au développement technologique,
la forme d’ un gouvernement conçu sur
le modèle de la machine. Cet imaginaire
politique d’ un monde rendu transparent à
lui-même par des techniques toujours plus
rationalisantes promet à chacun de s’ ar-
mer comme un sujet souverain, émancipé
du pouvoir des hommes et de la nature.
Avec la révolution numérique, l’ imaginaire
de la gouvernance par les nombres est celui
7. Carl Schmitt, « Depoliticized Politics, from East to West», New Le Review, 41, sept-oct 2006, p. 29-45.
8. Lancée sous l’ administration Obama en 2013, l’ Open Government Initiative s’ est combinée avec une chasse aux
lanceurs d’ alerte dans l’ administration américaine à l’ intensité inégalée selon l’ avis du Committee to Protect Journalists.
12
d’ une société sans hétéronomie, où le pro-
gramme remplace désormais la loi, réduite
à la mise en œuvre d’ un calcul d’ utilité.
Les frontières entre l’ homme, l’ animal et la
machine s’ eaçant comme autant de sys-
tèmes homéostatiques. Le paradigme du
Marché entre en compétition avec celui de
la Loi et entraîne “un double mouvement
de privatisation de la chose publique et de
publicisation de la chose privée”. À la dif-
férence de la règle de droit qui ne procède
pas exclusivement de l’ observation des
faits mais laisse la part à l’ interprétation, la
gouvernance par les nombres s’ inscrit dans
la longue ction historique de l’ harmonie
par le calcul concevant la normativité en
termes de programmation et non plus en
terme de législation.
L’ usage d’ outils d’ hyper rationalisation du
social comme les algorithmes appliqués
au domaine régalien de l’ État revêt aussi
une portée morale issue du mouvement
néolibéral du New Public Management
des années 1980 qui impose aux acteurs
publics un devoir de “redevabilité”
(Accountability) de leurs actions et des
deniers publics engagés. La promesse de
la gouvernance algorithmique laisse en
eet croire à une optimisation automatisée
de l’ allocation des moyens publics par la
mesure et la correction automatisée.
Au sein des services publics, des entreprises
privées puis de chaque micro-acteur social,
l’ accountability rend progressivement qui-
conque comptable – et non plus seulement
responsable - de ses comportements. À la
gestion humaine dans les entreprises se
substitue une gestion indirecte et englo-
bante fondée sur la conduite des conduites
par l’ intériorisation des contraintes par le
sujet devenu “entrepreneur de lui-même”.
Ainsi, la rétroaction des indicateurs
(ranking) et leur publication atteignent
l’ individu dans tous les moments de sa
vie (profession, relations sociales, santé,
consommation, quantifed self...).
Parmi les eets connus en matière de
prédiction algorithmique et de cyberné-
tique, la boucle de rétroaction (feedback
loop) conduit bien souvent l’ usage des
algorithmes dans la prise de décision à un
résultat plus prescriptif que prédictif. La
fabrication des données, leurs éventuels
défauts et leur méthode de quantication
et de corrélation peuvent ainsi gravement
induire un résultat plus que le prédire.
L’ utilisation de jeux de données qui ren-
seignent des événements passés peuvent
négativement produire des eets dans le
futur. Tel est le cas emblématique des algo-
rithmes qui déterminent la solvabilité des
emprunteurs en fonction de leur code pos-
tal et qui induisent des biais importants en
matière de discrimination: les taux d’ inté-
rêt plus forts, liés à la solvabilité moyenne
informée par le code postal, induisant des
défauts de paiements plus importants qui
engendrent eux mêmes un renforcement
du poids négatif du code postal pour l’ algo-
rithme. On retrouve aussi ces conséquences
quand les décisions de Justice – comme la
libération conditionnelle – s’ appuient sur
des critères9 de l’ environnement social du
9. Critères dont la normalisation en amont et le travail de saisie par divers acteurs sociaux sont particulièrement
opaques.
13
justiciable induisant de véritables eets de
prédestination en raison du contexte fami-
lial, social ou professionnel. Ou encore,
l’ envoi de patrouille de Police en fonction
des zones de délinquance déterminées
par une analyse des données statistiques
de criminalité qui soit la déplace simple-
ment ou stimule le risque de heurts par
des contrôles d’ identité au faciès répétés.
Comme l’ a montré la loi de Goodhart10,
“quand une mesure devient une cible, elle
cesse d’ être une bonne mesure”.
Reste que si l’ évolution de la rationalisa-
tion de la gouvernance a pu prendre des
siècles pour progressivement se mettre en
place, l’ arrivée des algorithmes produit
une accélération exponentielle des moda-
lités d’ exercice du gouvernement. Ainsi,
à peine prenons nous conscience depuis
une vingtaine d’ années du phénomène de
la gouvernance algorithmique que de nou-
veaux léviathans de l’ hyper rationalisation
apparaissent. Il s’ agit en particulier du
phénomène de couplage entre la science
de l’ algorithme et l’ Intelligence articielle
qui donne naissance à des algorithmes
dynamiques ou «apprenants» dont aucun
des concepteurs initiaux ne maîtrise in ne
le résultat. Ces algorithmes apprenants
contribuent à accroître les mécanismes
de déresponsabilisation en promettant
l’ avènement d’ une intelligence supérieure
capable d’ agir sur le réel.
La « plateformisation »
de l’ État
Depuis une quarantaine d’ années, il est
dicile, notamment en France, d’ aborder
la question de l’ État régalien autrement
que par la déconstruction. Face à la panne
intellectuelle pour penser l’ État autrement
qu’ instrumentalisé, la rhétorique de la
gouvernance est née pour dénommer cette
multiplication des acteurs et ce brouillage
des frontières des “politiques publiques”
glissant vers un “action publique” sur
laquelle les exécutifs nationaux perdent
prise. Face à la pluralité historique de la
ction collective de l’ État – ne serait-ce
qu’ en Europe – et à une forme de nostalgie
de l’ État-Providence classique, le projet
néolibéral a tenté de réenchanter le concept
d’ État par le modèle “managérialiste”11
de l’ entreprise privée. Les nombreuses
“réformes de l’ État” ont aligné par volon-
tarisme l’ action publique sur les intérêts
économiques sans modier profondément
la sociologie des élites technocratiques, et
sans alléger la pression bureaucratique,
bien au contraire.
Face à cette tendance de fond, les deux
dernières décennies ont aussi vu un mou-
vement contraire par un retour de l’ État
régalien, qu’ il s’ agisse de sécurité inter-
nationale, d’ accroissement des rapports
de forces ou de mise à l’ écart de l’ ONU.
La tension est extrême entre l’ armation
d’ un État-entreprise contractant avec des
intervenants toujours plus nombreux
10. “Once a social or economic indicator or other surrogate measure is made a target for the purpose of conducting
social or economic policy, then it will lose the information content that would qualify it to play such a role.” , Charles
Goodhart, chief economic advisor à la Banque d’ Angleterre, en 1975.
11. Luc Rouban, « Les paradoxes de l’ État postmoderne», Cités 2004/2 (n° 18), p. 11-22.
14
et la nécessité pour l’ État de maintenir
ses prérogatives régaliennes en matière
d’ ecacité et de sécurité du droit. Si par de
nombreux aspects l’ invasion des fonctions
régaliennes de l’ État par les algorithmes
sembleparticiper d’ un aboutissement du
processus de bureaucratisation, de nou-
velles représentations de l’ État voient au
contraire le jour en appelant de leurs vœux
une puissance publique qui prendrait la
forme d’ une vaste plateforme chargée de
coordonner les intérêts particuliers. La
success-story de la plateforme numérique,
incarnée par les géants de la Silicon Valley,
deviendrait, par analogie, un nouveau
modèle d’ ecacité à imiter et une source
d’ inspiration pour les pouvoirs publics.
De fait, si l’ on considère l’ action publique
comme une mise en œuvre d’ un calcul
d’ utilité individuelle, cette perspective
est séduisante en ce qu’ elle s’ oppose aux
travers d’ une administration centralisée
naturellement rigide, verticale, opaque
et distante. Les promoteurs de cette
“débureaucratisation” brandissent même
le risque d’ une “ubérisation” de l’ État
par des acteurs privés jusque dans ses
fonctions régaliennes. Cette volonté de
débureaucratisation est certes louable
mais reste profondément ambivalente au
regard des missions de service public.
Outre le fait qu’ elle pose de considé-
rables incertitudes de droit concernant
justement la responsabilité de l’ État, le
postulat que des dispositifs techniques
pourraient résoudre des questions
éminemment politiques (Bien commun,
solidarité nationale, égalité devant la loi,
libertés publiques...) reste très contesté.
Supposer que le démantèlement par une
distribution décentralisée des fonctions
étatiques par l’ appel à contribution de
la “multitude” serait la réponse à la crise
de l’ État12 demande sans doute à être
interrogé.
Dans une approche plus critique, un tel
eacement de l’ hétéronomie de la loi
et de l’ État participe d’ une conception
clairement ultra-libérale qui conçoit
l’ action publique comme un produit en
compétition sur le marché des normes.
L’ imaginaire iconique de la plateforme
numérique gérée par des fonctions
algorithmiques fait glisser la loi vers la
programmation, la réglementation vers la
régulation. Plus largement cette hypothèse
d’ un État transformé en plateforme qui
instaure un accès totalement ouvert
aux données publiques – au risque de
les voir appropriées par des entreprises
privées nalement seules capables
d’ absorber et de traiter de telles quantités
d’ informations – risque au contraire de
générer de nouvelles formes de violences
par la destruction progressive de la
conance en la socialisation du risque
assurée par l’ État13. En voulant, avec les
meilleures intentions, individualiser le
traitement administratif, en visant la
liquidité du capital humain, c’ est bien
la notion de solidarité qui devient elle
même caduque, remplacée “par un ordre
12. Des auteurs comme Evgeny Morozov ont développé une critique virulente de cette tendance au “solutionnisme”
qui voit dans le développement du numérique une solution globale aux questions socio-politiques.
13. Les controverses autour de services de transport de personnes ou de marchandises articulés à des plateformes
soulignent cette tendance à un brutal “retour du social” au sein de ces écosystèmes “plateformisés”.
15
engendré par l’ ajustement mutuel de
nombreuses économies individuelles sur
un marché14”.
Enjeux algorithmiques
et fonctions régaliennes
Tentons à présent de mieux cerner par
quelques exemples concrets la complexité
des usages des dispositifs algorithmiques
dans des circonstances où l’ État exerce le
cœur de sa mission régalienne.
Nous débuterons par un cas extrême du
pouvoir régalien: celui de l’ exclusivité de
l’ emploi de la violence légitime, y compris
jusqu’ à une nalité létale, dans le cas d’ un
acte de guerre. Certes, en raison de l’ évolu-
tion des conits armés sous l’ impulsion de
la menace terroriste diuse, la nature des
faits de guerre se sont largement brouillés
sur le plan éthique, juridique et politique.
Le cadre légal de l’ utilisation de la violence
légitime létale conjugué avec la “révolution
dans les aaires militaires” des années
1990 fondée sur le paradigme de la supé-
riorité technologique est un cas limite et
donc essentiel à observer comme terrain
d’ application et d’ articulation entre pou-
voir régalien et algorithmes.
Le domaine des Systèmes d’ Armes Létaux
Autonomes (SALA)15 concentre l’ essentiel
de la prospective des armées à propos des
capacités d’ autonomisation de dispositifs
robotiques chargés d’ une mission d’ ordre
militaire. Même si, à bien des égards,
leur emploi eectif reste du domaine
de la science ction, ce sujet fait l’ objet
d’ intenses recherches techniques mais
aussi de réexions sur l’ éthique du combat
et les moyens de doter ces systèmes d’ armes
d’ algorithmes décisionnels susceptibles
d’ imiter une décision humaine emprunte
de vertus morales.
La Justice, autre domaine par excellence
d’ exercice du pouvoir régalien, est un autre
terrain essentiel pour la mise en applica-
tion progressive de décisions publiques
issues pour tout ou partie du résultat
d’ algorithmes. Les questions de “bonne
administration” de la Justice, c’ est à dire la
résorption de la saturation des tribunaux
et l’ engorgement des prisons, la volonté
de rationaliser au maximum la décision
publique au regard des taux de récidive et
plus largement les théories de la redevabi-
lité (accountability) des pouvoirs publics
ont largement encouragé les expériences
récentes. Deux cours d’ Appel en France
commencent une expérimentation d’ outil
d’ aide à la décision; en symétrie, des socié-
tés d’ avocats proposent en “fouillant” dans
les données de Justice – prochainement
intégralement mises à disposition dans un
format ouvert – de calculer “les probabilités
de résolution d’ un litige, et le montant des
indemnités” en comparant les jugements
an de détecter quelle cour, voire quel juge,
est plus clément sur tel type d’ aaire. Pour
Chantal Arens, Première Présidente de la
Cour d’ appel de Paris, ces technologies
induisent «un changement de paradigme»
et selon le magistrat Antoine Garapon, «la
14. F. A. Hayeck, Le mirage de la Justice sociale, p. 134.
15. Voir ci-dessous le paragraphe “Le monopole de la violence et la question de l’ autonomie des systèmes d’ armes”.
16
Justice prédictive fait s’ eondrer le mythe
d’ une loi impartiale et aveugle».
Cette ouverture des données de Justice
par la Loi sur la République numérique
(2016) pose d’ autres questions intéres-
santes, pas seulement sur l’ usage interne
des algorithmes par les acteurs du monde
judiciaire, mais sur une volonté bureaucra-
tique d’ accroître l’ ecacité d’ un service
public, en l’ occurrence la Justice. Ces
outils numériques posent aussi la question
de la nécessaire séparation entre Police et
Justice rendue de plus en plus poreuse par
les ux de données entre ces deux fonc-
tions publiques et politiques. Les notions
de responsabilité de la qualication juri-
dique et de l’ individualisation de la peine
sont ainsi potentiellement mises en cause
par l’ interconnexion des systèmes d’ infor-
mation Police/Justice et par les tentations
de prédiction de la décision judiciaire.
Le contexte de lutte mondiale contre le
terrorisme est l’ occasion d’ exiger de la
part des opinions publiques et des pou-
voirs civils de plus en plus de résultats des
forces de l’ ordre. La pression législative
pour empêcher ces crimes encourage
l’ usage et l’ expérimentation toujours plus
intense d’ outils capables de collecter, de
traiter et d’ alerter sur des comportements
susceptibles de trahir la préparation de ce
type de crimes. De l’ anticipation humaine
liée au air de l’ enquêteur à la prédiction
par l’ interception de données massives, il
existe une forte tentation politique sous
pression des opinions publiques à recourir
à des outils algorithmiques intrusifs.
Dans le domaine du maintien de l’ ordre
social, qui peut le plus (prédire des crimes)
peut le moins (réprimer des infractions)
et le pli des pouvoirs exécutifs en ces
domaines peut être rapidement extensif,
notamment dans des périodes d’ exception
– comme un état d’ urgence – où le rôle des
magistrats est largement marginalisé par
une gestion administrative de la fonction
policière de l’ État régalien. Les thématiques
sécuritaires et leur gestion algorithmique
illustrent parfaitement le phénomène des
boucles de rétroaction: plus les méthodes
de prédiction et de prévision échouent plus
les structures bureaucratiques réclament
de pouvoir an d’ obtenir de meilleurs
résultats.
La capacité de prédiction des crimes
et délits est aussi un marché colossal.
Parallèlement, ingénieurs, sociologues
et politistes se saisissent de ces instru-
ments et soulignent que dans bien des
cas ils génèrent eux mêmes ce qu’ ils
cherchent à débusquer ou bien souvent
apprennent peu de choses aux hommes
de terrain. En dénitive, la multiplication
des capteurs d’ informations (vidéos sur-
veillance, reconnaissance faciale, boites
noires chez les fournisseurs d’ accès à la
téléphonie mobile ou à internet...) et les
données massives ainsi collectées font
peser sur les individus et sous l’ argument
de la lutte anti-terroriste le risque réel
d’ une véritable “société de contrôle” et
d’ auto-contrôle sans un réel traitement
politique de la cause de cette criminalité.
Max Weber dénissait il y a presque un
siècle, l’ accroissement des technologies
bureaucratiques comme une véritable
« cage de fer ». En 1990, Gilles Deleuze
voyait s’ instaurer dans la suite des socié-
tés de l’ obéissance et de discipline de la
période moderne une société de contrôle
17
et de surveillance. Ces prévisions semblent
se réaliser sous nos yeux avec l’ expansion
des algorithmes – bientôt auto-appre-
nants avec les progrès de l’ Intelligence
articielle – dans le domaine du pouvoir
étatique régalien.
Beaucoup d’ exemples de mise en œuvre
commencent à contester ce tropisme éta-
tique vers cet hyper-rationalisme condui-
sant à un hyper-réductionnisme des socié-
tés humaines et de leur gouvernement. Le
risque de destruction de la responsabilité
publique et de la conance collective dans
les institutions étatiques apparaît de plus
en plus clairement à un moment où les
États tentent d’ entamer une restauration
de leur autorité16 qui est toujours inver-
sement proportionnelle à l’ usage même
légitime de la violence. Les limites de la
souveraineté utilitariste par le règlement
des problèmes avec des outils dépolitisés
semblent évidentes.
Naturellement, ce n’ est pas parce que la
révélation progressive des biais inhérents à
tout système bureaucratique advient et que
l’ usage des algorithmes les font apparaître
avec plus de clarté que le pessimisme et la
fatalisme doivent l’ emporter. Au contraire,
cette publicisation des biais et des limites
de techniques bureaucratiques permet
de faire émerger des controverses dans
l’ espace public17. Une meilleure compré-
hension et un eort pédagogique vont
vraisemblablement émerger de ces interro-
gations. Au nal, un passage par des échecs
de l’ implémentation des algorithmes dans
la sphère régalienne permettra peut être
une repolitisation des enjeux collectifs.
16. Les auditions sénatoriales américaines du 1er novembre 2017 à propos du rôle des géants de la Silicon Valley
dans le soupçon d’ interférence russe sur la dernière élection américaine marqueront probablement un tournant dans
cette reprise d’ autorité des pouvoirs publics.
17. L’ échec de l’ algorithme “Admission postbac” qui in ne a repolitisé la question de l’ accès à l’ Université en est un
parfait exemple.
18
Le monopole de la
violence et la question
de l’ autonomie des
systèmes d’ armes
On parle beaucoup aujourd’ hui de sys-
tèmes d’ armes autonomes avec des capa-
cités létales ou non. De quoi s’ agit-il?
Il s’ agit de machines qui sont susceptibles
de fonctionner et de remplir un certain
nombre de tâches cruciales (choix d’ une
cible, décision de l’ observer, de la pour-
suivre, décision de l’ attaquer, etc.) sans
l’ intervention de l’ être humain.
Le recours au mode d’ autonomie des
machines est souvent justifié par la
volonté d’ éviter d’ exposer l’ être humain
à des situations dangereuses, par le fait
que les communications entre un opéra-
teur et un robot ou un système d’ armes
ne sont pas toujours ni simples (elles
peuvent être interrompues, brouillées),
ni même possibles (comme dans le cas
des robots sous-marins), ou par le fait
que l’ humain ne peut plus gérer en temps
raisonnable et avec suffisamment de per-
formances des ensembles très complexes
d’ informations et d’ actions.
On peut concevoir tout un spectre de
nuances entre des machines automa-
tisées et des systèmes autonomes. On
peut aussi concevoir des types variés
d’ autonomie.
Une machine automatisée est une machine
qui exécute un programme précis et tota-
lement connu. Ici les comportements de
la machine sont parfaitement prédictibles.
L’ opérateur humain n’ intervient pas une
fois la machine enclenchée, mais c’ est lui
qui a déterminé toutes les actions possibles
et leurs buts. Il garde en outre la possibilité
de mettre un terme au fonctionnement de
la machine.
Une machine est supervisée si un opérateur
garde la possibilité eective d’ intervenir
pour l’ arrêter ou en modier le fonction-
nement. “Eectif” voulant dire qu’ il a réel-
lement le temps de le faire. Une machine
supervisée peut avoir des comportements
qui n’ étaient pas initialement prévus par
un agent humain mais, ce dernier conserve
toujours la possibilité de les modier ou de
les supprimer. Une supervision est forte si
l’ opérateur humain garde la maîtrise de la
programmation et de l’ apprentissage (si la
machine possède des capacités d’ auto-ap-
prentissage). Une supervision est faible si
l’ opérateur humain n’ a plus la maîtrise de
la programmation ou de l’ apprentissage.
Une machine est autonome si elle peut agir
sans une supervision humaine. Les degrés
de supervision ou de non-supervision
permettent de concevoir tout un spectre
d’ états d’ autonomie. Le degré le plus bas
de l’ autonomie est l’ automaticité non
supervisée. Les comportements de la
machine sont connus et prévisibles mais
celle-ci n’ est pas mise sous la supervision
Algocratie
19
d’ un opérateur humain. Si on monte dans
les degrés d’ autonomie, on peut trouver
des machines qui ne sont pas supervisées
quant à la commande (pilotage) mais
qui sont supervisées lors de la phase de
programmation ou d’ apprentissage. Une
machine est faiblement autonome si elle
est non supervisée du point de vue de la
commande mais qu’ elle est supervisée du
point de vue de la programmation et de
l’ apprentissage. Une machine est fortement
autonome si elle est non-supervisée
du point de vue de la commande, de la
programmation ou de l’ apprentissage.
Dans ce cas on peut qualier la machine
“d’ innovante”.
La connaissance de l’ ensemble des com-
portements possibles d’ une machine et
la délimitation précise de la zone géogra-
phique dans laquelle elle opère sont essen-
tielles pour évaluer le caractère légal ou
éthique de son utilisation. Cette connais-
sance n’ est possible qu’ avec des machines
supervisées ou faiblement autonomes. Elle
n’ est certainement pas possible pour des
machines innovantes.
Ce qui est déterminant d’ un point de vue
juridique ou éthique c’ est au fond la possi-
bilité de garder le contrôle de la machine,
de ses comportements, et la connaissance
précise de sa zone d’ action (non seulement
du point de vue géographique mais aussi
du point de vue de ses caractéristiques:
présence ou non de civils, de lieux ayant
une signication particulière, etc.).
Il faut remarquer que ce n’ est pas tant
l’ autonomie qui pose un problème d’ un
point de vue éthique ou juridique. En
eet, l’ autonomie d’ un système peut être
essentielle pour assurer la sécurité des êtres
humains. Lorsque des humains risquent
par leur ignorance ou du fait de leurs
erreurs ou de certaines de leurs pathologies,
de mettre en danger les utilisateurs d’ une
machine ou d’ un système complexe,
il est important que la machine puisse
éventuellement reprendre le contrôle et
opérer sans la médiation humaine. Par
contre ce qui se révèle crucial c’ est la
supervision des systèmes autonomes ou
non. L’ imprédictibilité totale, liée à des
comportements de machines innovantes,
pouvant redénir les objectifs initialement
prescrits par l’ humain ou pouvant sortir
des zones qui leur sont assignées, pose
des problèmes importants de sécurité et
par voie de conséquence, de responsabilité
éthique et juridique.
Quand il s’ agit de systèmes d’ armes
à capacités létales, c’ est-à-dire doués
de possibilités de tuer, la question de
l’ autonomie est hautement problématique.
Du point de vue strictement opérationnel,
mais surtout du point de vue moral, on ne
peut laisser, si on attache une importance
à la vie humaine, la capacité de tuer à
des machines qui pourraient s’ arroger
cette capacité sans médiation humaine et
dans des lieux non-dénis par des agents
humains responsables.
Risques des systèmes d’ armes
létaux autonomes (SALAs)
Le risque majeur de ce genre d’ armes est
la possibilité de dissimuler les responsables
en cas de dégâts collatéraux. L’ autorité nor-
malement responsable de la mise en œuvre
d’ un SALA pourra toujours invoquer un
dysfonctionnement inconnu ou imprévi-
sible d’ un des composants du système pour
20
couvrir son implication directe dans une
action immorale ou illégale. Le problème
se complexie aujourd’ hui dans la mesure
ou l’ on pourrait penser à des essaims de
SALAs eux-mêmes en dialogue avec un
grand nombre d’ autres systèmes physiques
ou électroniques provoquant une dilution
des responsabilités dans un réseau com-
plexe de médiations technologiques.
Même si l’ on peut prétendre que les res-
ponsables sont ultimement les autorités
qui ont mis en œuvre les SALAs, il existe
une tendance actuelle à attribuer une res-
ponsabilité ctive à des machines. Les pro-
positions de considérer les systèmes auto-
nomes comme des “personnes morales”,
sont révélatrices de cette tendance. Mais
il faut être conscient que cela présente
un grand danger de confusion car une
machine, un objet technologique, ne peut
en aucun cas être un sujet responsable.
L’ humain seul peut être le sujet d’ une
responsabilité. Lui seul peut sourir et être
puni. L’ introduction de cette personnalité
juridique particulière et ctionnelle du
robot pourrait avoir un eet de dissimula-
tion des véritables responsables.
Remarquons que l’ usage de machines
innovantes, donc imprédictibles, relève
d’ un comportement irresponsable. On ne
peut mettre en œuvre une machine dont
on ne peut maîtriser les comportements
surtout si ces derniers impliquent la vie des
personnes et l’ intégrité de leurs biens. Il en
va de même d’ un comportement qui lais-
serait un système apprendre des compor-
tements sans supervision aucune. Comme
l’ ont montré des expériences récentes, une
machine auto-apprenante (un chatbot)
sans supervision humaine peut, au contact
de comportements humains néfastes,
devenir un système dangereux et dégra-
dant pour l’ humain.
Un des risques majeurs de l’ utilisation de
ce genre de machine armée innovante est
le fait qu’ elle pourrait se retourner contre
son utilisateur. Or nul politicien ni chef
militaire ne voudraient d’ un système qui
ultimement pourrait s’ opposer aux buts
qu’ ils ont xés. Une technologie doit rester
cohérente avec les nalités prescrites par
l’ autorité légitime et responsable. Or il est
vraiment dicile d’ assurer cette cohérence
avec des systèmes autonomes qui par
dénition peuvent sortir des règles et des
domaines qui leur sont imposés.
Malgré cette remarque, on peut craindre
que certains décideurs se laisseront
convaincre par l’ utilisation des SALAs en
raison de leurs avantages en termes de coût,
de minimisation des vies humaines (de leur
côté !) et des performances technologiques
en termes de traitement de l’ information.
C’ est d’ ailleurs ici l’ un des risques des
SALAs, comme de toutes les technologies
évoluées. Leurs performances induisent
une sorte de fascination irrésistible qui
peut conduire à une sorte de démission de
l’ humain face à la machine.
Un danger corrélatif est celui qui mène à
faire croire qu’ une machine basée sur des
algorithmes pourrait avoir un véritable
pouvoir de décision ou de jugement. Or
la décision présente des aspects qui jus-
tement ne sont pas algorithmiques. C’ est
donc un leurre de penser que l’ on pourrait
fabriquer ultimement un agent moral
algorithmique, un “autonomous moral
agent”. Ce qui est problématique c’ est entre
autres le fait que la décision comporte à
certains moments des comportements
21
qui sortent des règles, même des règles de
transgression ou d’ inventions de règles. La
décision humaine consiste parfois à inven-
ter des règles en dehors de toute règle pour
sauver l’ esprit des règles ! Une machine ne
peut que se conformer à des ensembles de
règles. Il n’ y a pas d’ algorithme général de
création de règles.
De plus, l’ application des règles néces-
site une interprétation des contextes qui
demande une sémantique qui elle-même
n’ est pas facilement descriptible par des
règles ou des algorithmes. Cette interpré-
tation est centrale quant à la possibilité
de se conformer aux règles du Droit
International Humanitaire. En eet, dans
des situations de combat, il est important de
pouvoir interpréter, d’ après le contexte, si
une personne est un combattant ou un non
combattant. Or ce contexte est souvent très
uctuant, complexe et dicilement réduc-
tible à un certain nombre de traits identi-
ables a priori. La proportionnalité d’ une
réponse militaire ou la détermination d’ un
intérêt militaire d’ une cible relèvent aussi
d’ une interprétation ne des contextes qui
est dicilement “algorithmisable”.
Un aspect qui est lié à ceci est le fait que les
décideurs militaires sur le terrain ne sont
jamais de simples exécuteurs automatiques
des ordres reçus par leurs autorités hiérar-
chiques. En eet, ils sont des êtres respon-
sables qui doivent comprendre l’ esprit des
ordres donnés et refuser éventuellement
certains ordres parce qu’ ils pourraient
être illégaux ou immoraux ou transgres-
ser la lettre de l’ ordre pour en rejoindre
l’ esprit. On fait comme si l’ on pouvait
sans problème remplacer les ociers,
les soldats par des machines exécutrices
d’ ordre. Mais c’ est oublier le rôle décisif
que peuvent jouer des humains conscients
et responsables sur le terrain, capables de
saisir les enjeux des consignes et jouer
éventuellement le rôle de fusible moral ou
cognitif en cas de directives non-éthique
ou aberrantes d’ un point de vue tactique
ou stratégique.
Un des risques de l’ utilisation des SALAs
est de croire que l’ on va évoluer vers une
guerre sans victime. Or, dans le fond, on sait
bien que dans toute guerre, les belligérants
vont essayer de frapper la partie adverse là
où elle est la plus sensible ou vulnérable.
Et l’ on sait bien que la perte d’ un soldat ou
d’ un civil reste une catastrophe. Si une des
parties utilise des moyens de guerre qui
économisent systématiquement la vie de
ses soldats, progressivement l’ autre partie
essaiera de provoquer la mort de civils
ou de soldats hors du champ de bataille,
provoquant une globalisation des conits,
avec une augmentation des victimes civiles.
On pourra assister aussi sur le champ de
bataille à une dissimulation progressive des
installations militaires susceptibles d’ être
touchées par des robots autonomes, sous
des hôpitaux, des écoles, etc., renforçant
ainsi les risques pour une population qui
jouit normalement d’ une protection eu
égard au Droit International Humanitaire.
Un autre risque est le fait que ces systèmes
complexes peuvent être facilement piratés
ou détournés. Les SALAs présentent donc
le danger de tomber assez facilement aux
mains de puissances néfastes. Le risque
vient aussi que ces puissances peuvent
mettre en œuvre très facilement ces objets
technologiques dont les caractéristiques
sont assez facilement accessibles. Cette
accessibilité présente elle-même un dan-
ger, car elle peut remettre en question
22
les équilibres des forces et provoquer de
nouvelles courses aux armements pous-
sées par de nouveaux acteurs dicilement
contrôlables.
On peut prétendre que les machines
pourraient se conformer mieux que les
humains aux règles du Droit International
Humanitaire ou satisfaire de manière plus
précise aux règles d’ engagement. C’ est
possible dans certains cas. De plus, on
peut à juste titre dire que les machines
ne sont pas soumises aux eets négatifs
du stress, de la fatigue, de l’ angoisse et
aux sentiments de vengeance, de haine,
etc. Cependant, la délégation du pouvoir
de tuer aux SALAs repose aussi sur une
sorte de perte de conance en l’ humain,
en un être humain bien formé morale-
ment. L’ humain bien formé est aussi une
personne qui pourrait faire preuve de
compassion, qui pourrait dans certaines
circonstances placer un peu d’ humanité
au sein des conits.
On ne doit pas minimiser le fait que
l’ humain pourrait aussi changer le cours
des guerres en faisant montre d’ un esprit
de pardon, de fraternité. Le recours
systématique à des robots armés est une
sorte de reconnaissance implicite qu’ une
éthique de la fraternité, qu’ une éthique
des valeurs humaines n’ a plus sa place
pour tempérer et espérer contrer la vio-
lence. Quand l’ humain est plongé réelle-
ment, physiquement, dans cet enfer qu’ est
la guerre, il ne peut espérer que la n du
conit. Les médiations technologiques
qui mettent à distance l’ être humain
peuvent induire une sorte de fausse
perspective sur ce qu’ est eectivement la
guerre avec tout son poids de gravité et de
sourances. Un robot programmé pour
le combat appliquera rigoureusement les
règles, mais n’ éprouvera jamais ce sen-
timent de dégoût qui, à la longue, saisit
tous ceux qui sont confrontés réellement
aux horreurs des combats. Sentiment qui
peut mener à la prise de conscience de la
nécessité de mettre un terme à la violence.
Il faut aussi souligner les eets psycholo-
giques néfastes que peuvent induire des
armes totalement robotisées chez les civils
qui y sont confrontés. La licéité d’ une
arme doit aussi s’ envisager en étudiant
les eets induits par les armes en termes
d’ angoisse et de peur chez des popula-
tions civiles. L’ usage des drones, comme
celui des V1 durant la seconde guerre
mondiale, présente cette potentialité de
terroriser les populations qui vivent sous
leurs champs d’ action. On doit envisager
le fait que des armes autonomes roboti-
sées peuvent avoir cette possibilité de ter-
roriser la population civile. On peut déjà
observer sur le terrain que le fait que des
militaires soient augmentés de toute une
technologie (lunettes de vision nocturne,
casque, gilet pare-balle, …) peut pertur-
ber les contacts avec une population civile
dans les zones de conit, au détriment des
militaires qui voudraient établir avec elle
une situation de conance.
Recommandations
Le droit et l’ éthique, qui constituent des élé-
ments fondamentaux pour la vie en société,
se fondent sur une notion de responsabilité.
Celle-ci ne peut reposer que sur une per-
sonne humaine. La délégation d’ un pouvoir
à une machine ne doit pas faire oublier que
seule une autorité humaine est responsable
des conséquences de cette délégation.
23
Mettre en œuvre une machine dont on
ne peut assurer ni la abilité ni la confor-
mité avec des nalités précises est un acte
irresponsable. On ne peut donc admettre
des machines totalement innovantes, des
machines non supervisées par l’ humain,
qui pourraient se donner à elles-mêmes
les buts de leur action et dénir leur
champ d’ opération. En ce sens-là il est
important de proscrire des systèmes inno-
vants. L’ autonomie laissée à un système
doit toujours être envisagée avec comme
horizon le respect de la dignité de la per-
sonne humaine et des nalités que cette
dernière s’ est xée. Il ne servirait à rien
pour l’ humain de créer des machines qui
se retourneraient contre ce qu’ il a voulu.
Des SALAs innovants sont donc à pros-
crire pour cette raison, mais plus encore
parce que le pouvoir de tuer des êtres
humains ne peut être délégué purement et
simplement à une machine. Cela pourrait
induire à la longue une perte du sens de
la dignité de la personne et une sorte de
perte ou de dilution d’ une responsabilité
fondamentale que nous avons vis-à-vis de
la vie humaine.
Si des machines ont des capacités létales, il
est crucial que l’ on garde une supervision
ecace sur le pilotage des machines, sur leur
programmation, sur le processus d’ appren-
tissage s’ il existe et aussi sur les limites et
les caractéristiques (présence ou non de
civils, etc.) des domaines dans lesquels elles
opèrent. On ne peut donc accepter, pour
préserver une éthique basée sur la dignité de
la personne humaine et cohérente avec son
existence et ses volontés, mais aussi pour
préserver une possibilité de satisfaction des
règles du Droit International Humanitaire,
que des machines fortement supervisées.
Des machines faiblement autonomes
(non supervisées du point de vue de la
commande mais supervisées du point de
vue de la programmation et de l’ apprentis-
sage) pourraient être acceptées si elles ne
possèdent pas de capacités létales. Mais si
elles en disposent, l’ absence de supervision
eective, qui caractérise ici par dénition
l’ autonomie, présente des risques trop
importants pour l’ humain pour être
acceptées.
Des systèmes automatisés à capacité létale
pourraient être acceptés que s’ ils sont
déployés dans des zones parfaitement
contrôlées et où l’ on peut assurer leur par-
faite conformité avec le Droit International
Humanitaire. Mais il importe de remar-
quer que de tels systèmes doivent être à
tout moment susceptibles d’ être désacti-
vés. Ceci implique donc une supervision
constante.
Dans tous les cas donc, l’ usage de systèmes
d’ armes robotisés non télé-opérés doit être
associé à une supervision forte. Les SALAs
au sens d’ armes létales non-supervisées,
ou au sens d’ armes innovantes doivent être
proscrites.
Justice, Police et
algorithmes
Les techniques et leur amélioration sont
au cœur de tout travail d’ investigation
policière, de la rationalisation des faits
incriminés et de la manifestation de la
vérité judiciaire. Photographie, empreintes
digitales, ADN, vidéosurveillance, bracelet
électronique, visioconférence, etc. équipent
depuis longtemps les professionnels des
24
services régaliens de la Police et de la
Justice. Entre mythe de la prédiction des
intentions criminelles et dénonciation des
risques de dérive liberticide, les technolo-
gies numériques appliquées au domaine
régalien de la Police et de la Justice
demandent à ne pas être prises isolément
des contextes professionnels, de leur crise
de légitimité, de l’ oce du juge voire de la
philosophie du droit.
Technologies et crise
de légitimité de la Police
Les questions soulevées par l’ accroissement
des technologies de surveillance utilisées
par les pouvoirs régaliens, de Police notam-
ment, ont déclenché d’ une part une vaste
production ctionnelle anxiogène dans la
lignée du «Big brother» d’ Orwell et une
importante production académique désor-
mais regroupée au sein des surveillance
studies et alimentée par les travaux critiques
de Foucault et Deleuze18. Cette double litté-
rature très répandue, anxiogène et critique,
obère bien souvent la complexité de la réa-
lité, souvent moins ecace, de l’ usage des
technologies par les forces de l’ ordre. Il est
fréquent que la caricature et les généralisa-
tions l’ emportent au détriment d’ une obser-
vation précise de la manière dont les univers
du droit et de la Justice contribuent aussi à
imprimer leur marque à ces technologies.
On oublie ainsi que les techniques de vidéo
surveillance permettent aussi de “surveiller
les surveillants”. On ne compte plus en
eet, les scandales et la crise de légitimité
qui frappent les forces de Police en géné-
ral quand des témoins lment avec leur
téléphone portable et diusent presque en
temps réel des scènes de violence légitime
ou non de l’ action policière. En eet, les
techniques numériques de surveillance,
voire d’ espionnage, sont duales. L’ eon-
drement de leur coût, leur popularisation,
et leur diusion open source19 permettent
aussi aux citoyens de « s’ équiper » de
moyens de surveillance inédits et de pro-
duction éventuelle de preuves d’ infraction.
Les processus politiques de modernisation
et de managérialisation des forces de
Police, tout comme pour la Justice, ont
aussi une responsabilité importante dans la
situation de crise policière. La perception
d’ une faible ecacité et d’ un usage excessif
de la force imprime une image négative au
détriment de la fonction protectrice dévo-
lue à ce service régalien.
Les volontés politiques achées de réduire
la délinquance par la mise en place de
mesures quantitatives de l’ ecacité poli-
cière ont contribué à faire percevoir les
forces de l’ ordre comme soumises à une
politique du chire, notamment avec le
secours de nouvelles technologies comme
l’ automatisation du contrôle de vitesse et sa
répression. Le “management par objectif ”,
la surveillance des citoyens ordinaires par
de nouveaux dispositifs techniques, le for-
malisme, l’ automatisation et la massica-
tion des sanctions ont durablement aecté
18. Foucault, Michel (1975), Surveiller et punir, Gallimard. G. Deleuze et F. Guattari (1980), Mille Plateaux, Paris, Minuit.
19. Des plans open source de dispositifs d’ écoute auparavant l’ apanage des services de Police et de renseignement et
très onéreux sont désormais librement accessibles et réalisables avec quelques connaissances en électronique pour un
coût modique.
25
la représentation des forces de Police
et leur fonctionnement interne tiraillé
comme jamais entre légalisme et ecacité.
Dans ce contexte dégradé depuis une
quinzaine d’ années sur le terrain de la
délinquance du quotidien, cette crise de
légitimité s’ est conjuguée avec l’ avènement
du terrorisme de masse depuis 2001. La
pression politique et sociale sur les forces
de l’ ordre et sur leur capacité d’ investiga-
tion a brutalement changé d’ échelle. Vue
l’ ampleur de l’ impact médiatique, sociétal
et politique du moindre attentat réussi,
l’ accent tactique ne va plus être seulement
focalisé sur la désignation du coupable par
le biais de l’ administration de la preuve
puis de sa judiciarisation mais bien sur la
détection de l’ intention criminelle accom-
pagnée de ses risques objectifs en matière
de libertés publiques.
Ce changement - qui peut paraître
minime - est en fait déterminant pour
expliquer comment, conjugué à une crise
de perception, la Police va se tourner vers
des solutions algorithmiques de prévision
du crime et plus largement des infractions.
Ainsi, le législateur a pu autoriser, en France
notamment, la mise en place de dispositifs
très larges de surveillance des communica-
tions électroniques20.
Dans le cas exceptionnel du terro-
risme- mais qui pourrait être susceptible
d’ impacter l’ ensemble des procédures
policières en raison de la capacité des
dispositifs techniques à imposer leur
design - la technologie colonise progressi-
vement toute la chaîne pénale. Or, le juge
est aussi le contrôleur des investigations
et, à ce titre, il doit être en mesure de tenir
à distance les procédures de l’ enquête
policière. Selon le Pr Bertrand Warusfel:
« Une chaîne continue risque d’ introduire
de la continuité entre Police et Justice là où,
aujourd’ hui, il y a rupture nécessaire. Face
à la montée des outils d’ aide à la décision
juridique, la qualication juridique doit
rester une prérogative du juge, notamment
si l’ on souhaite garder l’ individualisation
de la Justice»21. Tout comme les frontières
entre militarisation des forces de l’ ordre
et policisation de l’ armée dans le cas de
la lutte contre le terrorisme, les frontières
entre Justice et Police ont tendance par la
diusion de procédures algorithmiques à
se brouiller.
L’ oce du juge à l’ ère
numérique
An de mieux mesurer les conséquences
des technologies numériques dans la
sphère judiciaire et sa salutaire distinction
des procédures policières, il nous faut
revenir avec un éclairage historique et
anthropologique sur deux concepts fon-
damentaux: celui du juge et de son oce.
20. Loi sur la Sécurité intérieure, Article L 851-3: « Dans les conditions prévues au chapitre Ier du titre II du présent
livre et pour les seuls besoins de la prévention du terrorisme, il peut être imposé aux opérateurs et aux personnes
mentionnés à l’ article L. 851-1 la mise en œuvre sur leurs réseaux de traitements automatisés destinés, en fonction de
paramètres précisés dans l’ autorisation, à détecter des connexions susceptibles de révéler une menace terroriste».
21. Bertrand Warusfel cité par Guillaud Hubert (2017), “Vers la Justice analytique: entre performance et
optimisation”,
http://www.internetactu.net/2017/07/25/vers-la-Justice-analytique-33-entre-performance-et-optimisation/
26
Leurs dénitions et leurs traductions,
d’ une part dans le droit continental et
d’ autre part dans les sociétés encadrées par
la common law, sont essentielles pour saisir
la question complexe et contemporaine de
la relation entre magistrats et technologie.
Comme le rappelle Julie Allard22, la fonc-
tion judiciaire moderne, en opposition
au concept d’ oce, a refoulé l’ origine
religieuse de la dénition de l’ ocialité
du juge qui fonde pourtant son autorité
et sa légitimité. Ce refoulement, dans son
sens le plus freudien, invite Julie Allard à
s’ intéresser à ses conséquences en parti-
culier dans le contexte de la modernité
technologique.
L’ autorité du juge se fonde sur trois
principes: sa vertu, comme capacité per-
sonnelle à rendre la bonne décision en
fonction de chaque situation; le peuple qui
lui confère représentativité et légitimité et
une transcendance (Dieu, Roi, État, Loi...)
qui instaure une sacralité, même séculière,
de son oce. L’ histoire de l’ oce du juge à
l’ ère moderne va, en abandonnant progres-
sivement un ancrage théologico-politique,
radicaliser la dépersonnalisation de l’ oce
à travers “la gure du juge-automate, mais
aussi à travers la codication, la nomina-
tion des juges par un pouvoir central et
leur intégration dans une hiérarchie qui
permet de mieux les contrôler. Le juge
tient toujours son autorité d’ une entité
qui le dépasse et qui reste extérieure à son
oce, mais celle-ci est très largement ratio-
nalisée: l’ autorité ne réside plus en Dieu
mais dans le texte de loi, dans le code”23.
Progressivement, et ce mouvement s’ accé-
lère avec la possibilité de transférer des
décisions à une machine algorithmique,
l’ autorité du juge s’ externalise et se déper-
sonnalise dans un corpus de textes (et déjà
sémantiquement de codes) qui donne le
jour à une dénition particulière de son
autorité qui réside désormais dans sa com-
pétence à connaître dans le détail les textes
juridiques dont il tire son autorité à pré-
sent rationalisée, dépolitisée et sécularisée.
D’ un oce exercé en vertu d’ une autorité
transcendante, le juge moderne exerce une
fonction tirée de sa connaissance des textes
et des codes de lois. Réduite à une maîtrise
formelle des connaissances juridiques, on
comprend mieux pourquoi nalement une
intelligence articielle pourrait, dans un
premier temps au moins, l’ épauler dans
cette approche réductionniste de la Justice.
Voire, à terme, pour certains domaines
routiniers de l’ application de la loi (droit
de la famille, infractions routières...) le
remplacer.
La question de la légitimité du juge
demande aussi quelques éclaircissements.
Depuis l’ Antiquité, le rapport entre peuple
et magistrature est articulé avec les notions
de citoyenneté et de jugement comme acte
éminemment politique. Chaque citoyen
pouvant être juge par tirage au sort. Cette
association du peuple au juge garantit
donc la légitimité politique des décisions.
C’ est ici un point essentiel de la légitimité
de la Justice, notamment encore fortement
22. Allard, Julie (2013), L’ oce du juge : entre sacré et politique, Institut des Hautes Etudes sur la Justice.
http://forumdelaJustice.fr/ihej_wp/wp-content/uploads/2013/10/Julie_Allard_loffice_du_juge_entre_sacre_et_
politique.pdf
23. Allard, Julie (2013), idem, p. 3.
27
présente en common law, où le rôle du jury
est déterminant là où il est très atténué
dans le droit continental, à l’ exception
des jurys d’ assise. Le jury citoyen est donc
historiquement lié à la démocratie et à la
légitimité politique des magistrats. Dans
cette perspective, l’ opacité des boîtes
noires algorithmiques plaiderait pour une
légitimité défaillante en raison des dicul-
tés de compréhension de leurs procédures
par le citoyen, totalement exclu de leur
légitimation politique.
En contrepoint de ce fondement citoyen et
politique de la Justice, Platon avait mis en
garde justement envers l’ irrationalité des
foules et leur sensibilité aux eets émotion-
nels de la rhétorique. Le juge professionnel, à
l’ inverse, étant censé être insensible aux eets
de l’ émotion et capable de faire triompher la
vérité. Aujourd’ hui, c’ est bien cette concep-
tion qui est retenue: le juge tire sa légitimité
d’ un savoir et non d’ un pouvoir. Encore une
fois, l’ évolution possible vers une Justice
algorithmique au moins partiellement auto-
matisée trouve ici son ancrage historique
comme prolongement d’ un vaste processus
de dépolitisation. Plus un jugement est
détaché d’ un pouvoir politique, plus il est
paradoxalement perçu comme légitime.
Le management de la Justice
Le processus de rationalisation et de
dépersonnalisation du juge, à l’ œuvre
depuis l’ avènement des Temps modernes,
va subir, avant même notre questionne-
ment sur l’ impact des algorithmes dans la
Justice, une profonde accélération à travers
les idéologies de la gestion et du manage-
ment des aaires publiques. En eet, le
projet politique des sciences de gestion et
du management en général vise à instaurer
partout où cela est possible de vastes pro-
cessus de rationalisation à des ns d’ e-
cacité, en particulier budgétaire, par l’ opti-
misation de l’ allocation des ressources.
A l’ orée des années 1980, rendre plus légi-
time l’ État en général, et sa Justice en par-
ticulier, passe par une amélioration de son
ecacité. Le discours managérial est ainsi
sans ambiguïté: “L’ activité du juge consiste
à prester des services (les jugements ou
arrêts) qui lui sont décrits dans un cahier
des charges fort complexe (l’ ensemble des
textes légaux et réglementaires applicables)
émis par le législatif ou l’ exécutif. Cette
mission comporte incontestablement des
caractéristiques économiques des services
publics”24. L’ entrée de la rationalisation
économique dans le champ de la Justice
est un événement important et initiateur
d’ une approche réductionniste propre aux
technologies, numériques notamment. Les
critères de performance managériale sont
présentés comme une évolution évidente
et incontournable pour orir un service de
qualité aux usagers, redevable de l’ utilisa-
tion optimale des deniers publics.
Parmi les processus gestionnaires, la
standardisation est un outil cardinal de
représentation et de production de l’ e-
cacité. Ces techniques gestionnaires pré-
sentées comme purement rationalisantes
portent en elles de puissants mécanismes
24. Mattijs Jan (2006), “Implications managériales de l’ indépendance de la Justice”, Pyramides, 2006. Cité par Julie
Allard, ibidem, p. 9.
28
de contrôle par le biais de production de
moyennes statistiques sur la producti-
vité donnant lieu à l’ énoncé de règles de
“bonnes pratiques” qui deviennent de fait
des standards et des barèmes de l’ oce du
juge moderne. La mise en gestion des pro-
cessus judiciaires participe donc lourde-
ment comme technique à atténuer encore
l’ idée d’ une Justice comme représentation
de l’ État et du juge comme délégué de sa
souveraineté. Elle devient un simple ser-
vice public qui prétend s’ être débarrassé
des enjeux de pouvoir au prot d’ une
hyper rationalisation gestionnaire. L’ usage
des algorithmes dans la Justice franchit
donc un nouveau seuil dans le technicisme
déjà préparé de longue date.
Réductionnisme vs
Philosophie du droit
Dans ce mouvement managérial de pro-
duction de l’ ecacité budgétaire, la pro-
messe d’ une automatisation progressive
voit le jour avec l’ essor du numérique
depuis une vingtaine d’ années. La mobili-
sation des sciences de gestion, des calculs
probabilistes du risque, de la numérisation
et de la standardisation des décisions de
Justice en vastes bases de données ouvrent
de nouvelles voies de prévision en matière
de récidive et de passage à l’ acte.
Mais l’ alignement de la décision judiciaire
sur le résultat d’ un calcul statistique
normalisant une médiane standardisée
de la décision du juge pose un problème
de fond en terme de philosophie du droit
tant sur le principe d’ indépendance du
magistrat que sur le concept même de
jurisprudence. “Trancher un litige, c’ est
posséder, selon la tradition romaine qui
nous porte encore, la maîtrise de “l’ art du
bon et de l’ égal”, et non aligner paresseuse-
ment le jugement sur une médiane. Si un
tel mouvement l’ emportait, c’ est d’ ailleurs
l’ existence même de la Cour de cassation,
en charge de l’ harmonisation de la juris-
prudence, ou de toute cour suprême, qui
serait menacée”25.
Selon Hélène Cazaux-Charles, directrice
de l’ Institut national des hautes études de
la sécurité et de la Justice, la question de la
redénition du domaine du contentieux
judiciaire au XXIème siècle se pose si le pro-
noncé d’ une décision pour le contentieux
de masse (aaires familiales, impayés,
contentieux routier...) est aligné sur un
barème résultant d’ un calcul. Ce calcul
automatisé ou semi-automatisé revêt les
atours d’ une vérité quasi-scientique,
hyper rationalisée et débarrassée des biais
humains de l’ interprétation des textes et
des contextes. Il s’ agit ici en terme de phi-
losophie du droit d’ un glissement discret
mais profond du droit de la preuve et de
son administration par l’ oce du juge qui
impacte le statut de la Vérité judiciaire:
“Ainsi, un certain credo (une religion?)
scientiste est tenté de se substituer à la
25. Marraud des Grottes, Gaëlle (2017), “Hélène Cazaux-Charles, directrice de l’ Institut national des hautes études
de la sécurité et de la Justice: « L’ usage de l’ algorithme est un sujet auquel sera confrontée la Justice pénale dans les
années qui viennent»”, Actualité du Droit, 01 novembre 2017.
https://www.actualitesdudroit.fr/browse/vie-des-professions-juridiques-et-judiciaires/legaltech/9891/helene-cazaux-
charles-directrice-de-l-institut-national-des-hautes-etudes-de-la-securite-et-de-la-Justice-l-usage-de-l-algorithme-
est-un-sujet-auquel-sera-confrontee-la-Justice-penale-dans-les-annees-qui-viennent
29
démonstration rationnelle de la preuve,
qui s’ appuie certes sur les sciences et
techniques, mais dans un cadre procé-
dural qui lui confère le statut de simple
expertise et non de vérité”26.
Si le concept de scoring se substitue pro-
gressivement à l’ art de l’ interprétation
sous l’ argument de l’ ecacité, de la abi-
lité et de la rationalité, c’ est le sens même
de la régulation de la violence sociale par
le langage humain et le débat judiciaire,
capable de maintenir la pérennité de la
paix civile, qui est remis en cause. La lente
substitution du registre cognitif au registre
normatif et son rêve de suppression de la
faillibilité et de l’ imperfection humaine,
y compris dans le registre de la Justice,
ouvre en outre la porte à de multiples pos-
sibilités de contournements de l’ impar-
tialité et de l’ égalité de tous devant la loi.
Au nal, il faut sans aucun doute aussi son-
ger à historiciser les diverses expériences
des organisations scientiques du pouvoir
et de l’ humanité. Le réductionnisme des
rapports sociaux au score calculé automa-
tiquement permettrait en eet de classer les
individus en fonction d’ une performance,
d’ un standard ou d’ une norme confondant
probabilité et vérité, corrélation et preuve.
Pour se prémunir de ces conséquences de
fond des algorithmes, notamment ceux
de seconde génération qui sont annoncés
comme apprenant par intelligence arti-
cielle, la magistrature devra avoir “accès à
la nature et aux modalités d’ agrégation des
données soumises à l’ équation algorith-
mique, comme à l’ économie de cette équa-
tion, pour pouvoir apprécier la rigueur, la
qualité, l’ impartialité de l’ administration
de la preuve”27. La formation des juges et
une politique de recrutement de mathé-
maticiens et d’ ingénieurs capables au sein
du Ministère de la Justice d’ eectuer la
rétro-ingénierie seront nécessaires à la cer-
tication des algorithmes utilisés au même
titre que les autres experts techniques déjà
présents dans la chaîne judiciaire.
26. Marraud des Grottes, Gaëlle (2017), Idem.
27. Idem.
30
L’ algocratie comme substitut progressif à
la démocratie est-elle un futur au moins
partiellement envisageable ? Nous avons
voulu souligner dans cette contribution
que la colonisation progressive par des
algorithmes du domaine traditionnelle-
ment politique et régalien n’ est plus du res-
sort de la science-ction. Défense, Police
et Justice - comme fonctions éminemment
régaliennes - sont désormais directement
interrogées par cette question.
Cette situation se révèle comme une nou-
velle étape de la mise en nombre et de la
rationalisation des Hommes et de leur
gouvernement. Passant d’ un art de gou-
verner à une science du gouvernement,
les promesses d’ ecacité et d’ optimisation
par gouvernement automatisé, qui para-
chèvent le mouvement de bureaucratisa-
tion, sont anciennes et ses conséquences
bien connues: déresponsabilisation, dépo-
litisation et délégitimisation.
Sans être excessivement alarmiste, il s’ agit
ni plus ni moins de l’ avenir de la régu-
lation de la violence sociale et de la paix
civile qui sont en jeu dans l’ évolution du
rapport entre technologie et fonctions
régaliennes constitutives de l’ autorité et de
la légitimité des pouvoirs publics et - pour
ce qui concerne les questions de Défense,
de Police et de Justice- de l’ État de droit
lui-même.
Heureusement, en matière de réception
sociale des technologies, rien ne se passe
jamais comme prévu. Les limites de la sou-
veraineté utilitariste du règlement des pro-
blèmes par des outils dépolitisés deviennent
évidentes. La prise de conscience en cours
des biais et des limites réductionnistes des
algorithmes - sans même parler de ceux de
“l’ intelligence articielle” - permet de faire
émerger des controverses dans l’ espace
public qui permettront, il faut l’ espérer,
une repolitisation des enjeux collectifs.
Conclusion
31
ALLARD, Julie (2013), L’ oce du juge: entre sacré et politique, Institut des Hautes
Etudes sur la Justice.
http://forumdelaJustice.fr/ihej_wp/wp-content/uploads/2013/10/Julie_Allard_lof-
ce_du_juge_entre_sacre_et_politique.pdf
ANCELIN, Julien (2016), «Les systèmes d’ armes létaux autonomes (SALA): Enjeux
juridiques de l’ émergence d’ un moyen de combat déshumanisé», La Revue des droits de
l’ homme. Actualités Droits-Liberté.
ARENDT, Hannah (1972), Du mensonge à la violence. Essais de politique contemporaine,
trad. G. Durand, Paris, Calmann-Lévy, 1972 ; éd. poche, Paris, Presses-Pocket, 1989.
ARENDT, Hannah (2006), Les origines du totalitarisme, Le Seuil.
BENBOUZID, Bilel (2015), «De la prévention situationnelle au predictive policing»,
Champ pénal/Penal eld, Vol. XII.
BRAYER, Patrick C. (2016), “e Disconnected Juror: Smart Devices and Juries in the
Digital Age of Litigation,” Notre Dame Journal of Law, Ethics & Public Policy Online, 2016.
CARDON, D. (2015), A quoi rêvent les algorithmes? Le Seuil.
CHAMAYOU G. (2013), éorie du drone, éd. La Fabrique, Paris.
CHRISTIN, A., (2017). “Algorithms in Practice: Comparing Web Journalism and
Criminal Justice.” Big Data & Society 4 (2): 1-14.
DELEUZE, G. (1990), « Post-scriptum sur les sociétés de contrôle», L’ autre journal.
DELEUZE G., GUATTARI F. (1980), Mille Plateaux, Paris, Minuit.
DESROSIÈRES, A. (2010), La politique des grands nombres, La Découverte.
DEROSIERE, A. (2014), Prouver et gouverner, une analyse politique des statistiques
publiques, La Découverte.
FOUCAULT, M. (1966), Les mots et les choses. Une archéologie des sciences humaines,
Gallimard.
FOUCAULT, M. (2004), Naissance de la biopolitique, Cours au Collège de France, 1977-
1978, Seuil/Gallimard.
FOUCAULT, Michel (1975), Surveiller et punir, Gallimard.
GILLESPIE, T. (2013). e Relevance of Algorithms. Forthcoming in Media Technologies:
Essays on Communication, Materiality and Society, ed. Tarleton Gillespie, Pablo
Boczkowski, and Kirsten Foot. Cambridge, MA: MIT Press.
Références
32
GOLUMBIA, David (2009), e cultural logic of computation, Harvard University Press.
GRAEBER, D. (2015), Bureaucratie, Les liens qui libèrent.
GRINBAUM, Alexei (2016), Gouverner le code qui nous gouverne, 2ème journée de la
CERNA, 1 février 2016.
GUILLAUD Hubert (2017), «Vers la Justice analytique (3/3): entre per-
formance et optimisation», http://www.internetactu.net/2017/07/25/
vers-la-Justice-analytique-33-entre-performance-et-optimisation/
HAYEK, F. A.(1973-79), Droit, législation et liberté, tome 2: Le Mirage de la Justice
sociale.
JACKSON, Brian A., BANKS, Duren, WOODS, Dulani, DAWSON, Justin C., (2017)
Future-Proong Justice Building a Research Agenda to Address the Eects of Technological
Change on the Protection of Constitutional Rights, RAND.
LAMBERT, D. (2015), «Les robots, les hommes et la paix, Esquisse d’ une évaluation
éthique de la robotique contemporaine», Revue des Questions Scientiques, 186 (3).
LATOUR, B., CALLON M. (2013), «Tu ne calculeras pas», Sociologie des agencements
marchands. Textes choisis, Paris, Presses des Mines, Collection Sciences sociales.
LUM, Cynthia, KOPER, Christopher and W. TELEP, Cody, «e Evidence-Based
Policing Matrix» (2011). Journal of Experimental Criminology, 7(1), 3-26.
MARRAUD DES GROTTES, Gaëlle (2017), “Hélène Cazaux-Charles, directrice
de l’ Institut national des hautes études de la sécurité et de la Justice: «L’ usage de
l’ algorithme est un sujet auquel sera confrontée la Justice pénale dans les années qui
viennent»”, Actualité du Droit.
MATTIJS Jan (2006), «Implications managériales de l’ indépendance de la Justice»,
Pyramides, 2006.
MILLER, P., O’ LEARY T., «Accounting and the construction of governable person»,
Accounting, Organisation and Society, vol. 12 n°3, p. 235-265.
MOROZOV, Evgeny (2014), Pour tout résoudre cliquez ici: L’ aberration du solution-
nisme technologique, FYP éditions.
OFFICE DES NATIONS UNIES À GENÈVE (2016), Convention sur certaines armes
classiques, “Report of the 2016 Informal Meeting of Experts on Lethal Autonomous
Weapons Systems (LAWS)”, Submitted by the Chairperson of the Informal Meeting of
Experts.
O’ NEIL, C. (2016), Weapons of math destruction, How big data increases inequality and
threatens democracy, Crown.
PASQUALE, F. (2011), «Restoring transparency to automated authority», Journal
on Telecommunications and High Technology Law, Vol. 9, No. 235, 2011, Seton Hall
Research Paper No. 2010-28.
33
QUELHAS D. (2016), «La Convention sur l’ interdiction de certaines armes classiques:
l’ occasion d’ un débat ouvert sur les systèmes d’ armes létaux autonomes (1)», Bulletin
Sentinelle no 471.
ROSANVALLON, Pierre (2008), La légitimité démocratique, Le Seuil.
ROUBAN, Luc, (2004)«Les paradoxes de l’ État postmoderne», Cités 2004/2 (n° 18),
p.11-22.
ROUVROY, Antoinette, BERNS, T. (2013), «Gouvernementalité algorithmique et
perspectives d’ émancipation. Le disparate comme condition d’ individuation par la
relation ?», Réseaux, vol. 177, no. 1, pp. 163-196.
SCHMITT, Carl (2006) «Depoliticized Politics, from East to West», New Le Review,
41, sept-oct 2006, p. 29-45.
SHARKEY N. (2009), «Weapons of Indiscriminate Lethality», Forum des informati-
ciens pour la paix et la responsabilité sociétale (FIfF Kommunikation), no1/09, pp. 26-29.
SUPIOT, A. (2015), La gouvernance par les nombres, Fayard.
VERUGIO G., ABNEY K. (2012), «Roboethics: e Applied Ethics for a New
Science», in LIN (P.) (dir.) et al., Robot Ethics: e ethical and Social Implications of
Robotics, Cambridge, MIT Press.
WEBER, M. (1913), Sociologie de la religion - Économie et Société.
