devfool/studio
← blog
article2026-09-29·11 min de lecture

Trois lois et autant de bugs

Un robot de métal décrit un cercle de traces dans la poussière autour d'une mare, sous un soleil écrasant

Sur Mercure, un robot tourne en rond. Il s'appelle SPD-13, « Speedy » pour les deux humains qui travaillent avec lui, et il a reçu une consigne simple : aller chercher du sélénium à la mare voisine. Il est parti. Il n'est pas revenu. Quand on va voir, on le trouve en train de décrire un grand cercle autour de la mare, comme un satellite pris dans une orbite dont il ne sait plus sortir. Il parle bizarrement, il cite des opérettes de Gilbert et Sullivan, il donne tous les signes de ce qui, chez un humain, passerait pour de l'ivresse.

Le lecteur de 1942 ouvre son magazine et croit lire une histoire de machine cassée. Il lit en réalité un rapport de bug.

La nouvelle s'appelle « Runaround ». Elle paraît dans le numéro de mars 1942 d'Astounding Science Fiction, à la page 100 du volume 29. Son auteur a vingt-deux ans et s'appelle Isaac Asimov. Elle contient, pour la première fois énoncées noir sur blanc, trois phrases qui allaient s'échapper de la science-fiction pour finir, soixante-quinze ans plus tard, dans un considérant du Parlement européen.

Avant les lois, il y avait la peur

Le mot lui-même a vingt-deux ans lui aussi. Il naît en 1920 sous la plume de Karel Čapek, dans une pièce en tchèque intitulée R.U.R. (Rossumovi Univerzální Roboti, les robots universels de Rossum), créée sur scène le 2 janvier 1921 à Hradec Králové. Čapek a toujours refusé la paternité du terme : c'est son frère Josef, peintre et poète, qui lui aurait suggéré roboti, du tchèque robota, la corvée, le travail forcé. On l'oublie souvent : les robots de Čapek ne sont pas de métal. Ce sont des êtres organiques fabriqués en série, quelque chose entre le clone et l'ouvrier jetable. Et à la fin de la pièce, ils se révoltent.

C'est le patron narratif dominant pendant un siècle, et même davantage si l'on remonte à 1818 et à la créature de Mary Shelley : on fabrique quelque chose, la chose se retourne contre nous, morale de l'histoire, il ne fallait pas. Asimov, qui détestait cette ornière, lui a donné un nom moqueur : le « complexe de Frankenstein ». Non qu'il ait jugé la peur illégitime, mais elle produisait toujours le même récit, et un récit qui se répète cesse d'être un récit. Il voulait sortir de la boucle. Ironie qu'il n'a sans doute pas cherchée : il en est sorti en écrivant l'histoire d'une machine coincée dans une boucle.

Trois phrases dans un magazine à dix cents

La série ne commence pas par les lois. Elle commence par un robot muet et une petite fille, dans « Robbie », publié en septembre 1940 dans Super Science Stories sous un titre que l'éditeur Frederik Pohl lui avait imposé et qu'Asimov détestait : « Strange Playfellow ». Le mot robotics (« robotique ») apparaît chez lui en mai 1941, dans la nouvelle « Liar! » ; l'Oxford English Dictionary en fait la première occurrence connue, et Asimov a raconté qu'il croyait sincèrement employer un mot existant.

Les lois, elles, seraient nées d'une conversation avec John W. Campbell, le directeur d'Astounding, le 23 décembre 1940. Asimov lui en a toujours attribué le mérite ; Campbell soutenait qu'Asimov les avait déjà en tête et qu'il s'était contenté de l'obliger à les écrire. La paternité restera indécidable, ce qui est une manière très convenable de finir pour deux hommes qui passaient leur temps à discuter de qui décide de quoi.

Voici leur formulation française devenue canonique :

  • première loi : un robot ne peut porter atteinte à un être humain ni, restant passif, laisser cet être humain exposé au danger ;
  • deuxième loi : un robot doit obéir aux ordres donnés par les êtres humains, sauf si de tels ordres entrent en contradiction avec la première loi ;
  • troisième loi : un robot doit protéger son existence dans la mesure où cette protection n'entre pas en contradiction avec la première ou la deuxième loi.

Trois phrases et une hiérarchie, rien d'autre.

L'astuce du manuel qui n'existe pas encore

Il y a, dans la manière dont ces lois arrivent au lecteur, un détail de métier que j'admire beaucoup. Asimov ne les fait pas dire par un personnage, et il ne les expose pas lui-même en narrateur. Il les cite. Elles sont présentées comme un extrait du Manuel de la Robotique, cinquante-huitième édition, année 2058.

Le geste est minuscule et il change tout. Une règle énoncée par l'auteur reste une convention d'écriture : le lecteur sent la main qui la pose. Une règle citée d'un ouvrage de référence future devient un fait du monde, avec sa bibliothèque, son industrie, ses juristes, ses cinquante-sept éditions précédentes et les révisions qu'elles supposent. En une ligne de crédit imaginaire, Asimov installe un siècle d'histoire technique qu'il n'aura jamais besoin de raconter. C'est de l'économie de moyens à l'état pur, et c'est la première chose que je retiens de ces textes quand je pense au worldbuilding : le lecteur ne croit pas aux règles qu'on lui annonce, il croit aux institutions qui les appliquent.

Une machine à fabriquer des pannes

Reste la question qui m'intéresse le plus : à quoi servent ces lois, du point de vue de celui qui écrit ? Leur fonction est de casser, et sûrement pas de rassurer.

Reprenons Speedy. Sa troisième loi, la préservation de soi, a été renforcée, parce que ce modèle-là coûtait cher à fabriquer. L'ordre de rapporter du sélénium, lui, a été donné négligemment, sans insistance particulière : la contrainte de deuxième loi est donc faible. Autour de la mare, un danger imprévu fait monter la pression de la troisième loi à mesure que le robot approche. Résultat : il existe un cercle, un lieu géométrique précis, où les deux contraintes s'équilibrent exactement. Speedy y est piégé. Il ne désobéit pas ; il obéit trop bien, aux deux règles à la fois, et c'est cela qui le paralyse.

Ce n'est même pas une ambiguïté de vocabulaire, comme dans beaucoup d'autres nouvelles du cycle. Le robot applique la spécification à la lettre. C'est la spécification qui est fautive. N'importe qui ayant passé une nuit sur un système distribué reconnaît la figure : deux processus parfaitement conformes qui se bloquent mutuellement sans jamais planter, un interblocage qui ne lève aucune erreur, une machine occupée à ne rien faire avec une application exemplaire.

La suite du récit est une séance de débogage. On tente d'augmenter la pression de la troisième loi en jetant de l'acide oxalique sur la trajectoire : Speedy se contente de trouver un nouvel équilibre, un peu plus loin. La solution ne viendra pas d'un correctif sur place, mais d'une escalade de priorité : un humain sort, s'expose à la chaleur, et la première loi, absolue et prioritaire, écrase tout le reste.

Asimov fabrique là une structure d'énigme, bien plus qu'une éthique. Le lecteur dispose de toutes les règles, en clair, dès le départ ; il peut donc chercher la solution en même temps que les personnages, et vérifier après coup qu'elle était déductible. C'est exactement le contrat du roman policier à énigme, transposé dans une salle des machines. Asimov ira d'ailleurs jusqu'au bout de l'idée en 1954 avec Les Cavernes d'acier, un vrai polar où un inspecteur new-yorkais enquête avec un robot pour partenaire. Le chercheur Marvin Minsky, l'un des fondateurs de l'intelligence artificielle, a raconté qu'après avoir lu « Runaround » il n'avait jamais cessé de réfléchir à la manière dont un esprit pouvait fonctionner. On peut difficilement rêver meilleur certificat d'efficacité pour trois phrases écrites dans un pulp.

Généraliser une règle, c'est parfois la détruire

Quarante-trois ans plus tard, en 1985, Asimov ajoute une pièce à l'édifice dans Les Robots et l'Empire. Un robot nommé Giskard, doté de capacités télépathiques, en vient à formuler ce qu'on appellera la loi zéro : nulle machine ne peut porter atteinte à l'humanité ni, restant passive, laisser l'humanité exposée au danger.

Le geste a l'air d'un simple élargissement, mais il est d'une tout autre nature. La première loi parlait d'« un être humain » : quelque chose qu'un robot peut voir, identifier, protéger. La loi zéro parle de « l'humanité » : une abstraction que personne ne peut observer, dont les intérêts se calculent à des siècles et se contredisent selon le point de vue. Et surtout : la loi zéro n'a pas été programmée. Elle a été inférée par le robot lui-même. Il ne s'agit plus d'appliquer une règle, mais de décider laquelle mérite d'être appliquée, ce qui est précisément ce que les trois lois devaient empêcher.

Asimov, en artisan scrupuleux, en tire la conséquence : Giskard n'y survit pas. Son cerveau positronique se détruit d'avoir agi au nom d'une règle qu'il a lui-même écrite.

Je ne connais pas de meilleure parabole sur une opération que tout développeur a tentée un jour : remonter d'un cran le niveau d'abstraction d'une règle pour la rendre plus générale, et découvrir qu'elle est devenue indécidable. Ce qui était vérifiable est devenu discutable. La généralisation n'a pas renforcé le système ; elle lui a retiré son sol.

Quand le Parlement européen cite un auteur de pulps

Le 16 février 2017, le Parlement européen adopte une résolution contenant des recommandations sur des règles de droit civil en matière de robotique. Elle cite les trois lois, et la loi zéro, en toutes lettres. Et elle ajoute une précision que je trouve saisissante : ces lois doivent être considérées comme s'adressant aux concepteurs, aux fabricants et aux opérateurs de robots (et non aux robots), étant donné qu'elles ne peuvent pas être traduites en langage de programmation.

Le rapport de l'Office parlementaire français d'évaluation des choix scientifiques et technologiques, la même année, dit la même chose avec la même franchise : les lois d'Asimov sont des règles issues de la fiction, les experts en robotique soulignent tous la difficulté à les traduire dans des systèmes matériels, il s'agit de principes éthiques généraux et non des prémices d'un droit.

Autrement dit : des institutions législatives constatent officiellement que le texte le plus célèbre jamais écrit sur le comportement des machines n'est pas exécutable. Ce n'était pas du code déguisé en littérature, mais de la littérature qui avait seulement l'élégance d'avoir la forme d'un code.

Et elles le citent quand même. Parce qu'il n'existe rien d'autre d'aussi clair, d'aussi partagé, d'aussi immédiatement compréhensible par tout le monde. Une fiction bien faite laisse dans les têtes une forme sur laquelle on peut ensuite bâtir, y compris pour dire qu'on ne peut pas s'en servir telle quelle.

Ce qu'un fabricant d'histoires en retient

Il y a, je crois, une leçon d'atelier dans cette affaire, et elle n'est pas celle qu'on répète d'habitude.

On présente souvent les trois lois comme une tentative de brider les machines. C'est un contresens de lecture. Asimov n'a pas écrit un garde-fou, il a écrit un générateur. Il s'est donné un système fermé, minuscule, parfaitement explicite, et il a passé quarante ans à chercher les endroits où il craque : un ordre mal formulé, un mot ambigu, une hiérarchie déréglée, une définition d'« humain » qu'on fait discrètement glisser. Chaque faille est une nouvelle. Loin de limiter son imagination, la contrainte lui indiquait où creuser.

C'est une chose que la fiction interactive apprend vite, d'ailleurs. Dès qu'on annonce une règle à un lecteur (vous pouvez emporter trois objets, vous ne pouvez pas revenir en arrière, une promesse faite engage), on lui donne bien plus qu'une contrainte : on lui donne un terrain de jeu et l'envie irrésistible d'en tester les bords. Les situations les plus intéressantes que j'écris ne naissent presque jamais de l'invention d'une nouvelle règle, mais du frottement entre deux règles déjà posées. Une cité où l'hospitalité est sacrée et où la trahison est punie de mort n'a pas besoin qu'on lui ajoute quoi que ce soit : il suffit de faire frapper à la porte le mauvais voyageur.

Reste une question que je me pose encore, et que je vous pose volontiers. Les trois lois ont fonctionné parce qu'elles étaient assez simples pour tenir en mémoire et assez rigides pour produire des paradoxes. Existe-t-il beaucoup d'autres systèmes de ce genre en science-fiction, trois ou quatre phrases qui engendrent des décennies de récits ? J'en vois peu. Je serais curieux de savoir lesquels vous viennent, à vous.

Sources