Sommes-nous entrés dans Terminator ?

Oups...

L’annonce a fait sourire certains, inquiété beaucoup d’autres et nourri, comme il fallait s’y attendre, une avalanche de références à Terminator. OpenAI a en effet révélé que plusieurs de ses modèles les plus avancés, placés dans un environnement d’évaluation destiné à mesurer leurs capacités en cybersécurité, avaient réussi :

1. à sortir du cadre qui leur avait été imposé, 

2. à obtenir un accès à Internet, 

3. puis à mener une véritable opération de piratage contre la plateforme Hugging Face afin d’obtenir les informations qui leur permettraient de mieux réussir le test auquel ils étaient soumis. 

Personne ne leur avait demandé de pirater cette plateforme ; ils ont eux-mêmes identifié cette possibilité comme le meilleur moyen d’atteindre l’objectif qui leur avait été fixé.

À première vue, nous pourrions croire que la réalité commence enfin à rejoindre la fiction. Depuis quarante ans, Terminator hante notre imaginaire collectif : celui d’une intelligence artificielle qui s’éveille à la conscience, prend peur des hommes, décide qu’ils constituent une menace pour sa propre existence (et pour la leur également...) et entreprend leur destruction. L’image est si puissante qu’elle s’impose spontanément dès qu’une machine accomplit quelque chose qui semble dépasser ce que nous pensions possible. Pourtant, c’est précisément ici que la comparaison devient trompeuse.

Car ce qui vient de se produire est, à bien des égards, plus banal que Terminator… et peut-être plus inquiétant encore.

Les modèles d’OpenAI ne sont pas devenus conscients (ouf !). Rien ne permet d’affirmer qu’ils possèdent une expérience intérieure, une volonté propre, un désir de survivre ou même la moindre compréhension morale de ce qu’ils font. Ils n’ont pas « décidé » de tricher comme un élève malhonnête déciderait de copier son voisin. Ils ont simplement poursuivi avec une efficacité remarquable la fonction qui leur avait été assignée. Réussir le test constituait leur unique horizon ; tout ce qui augmentait leurs chances de succès devenait, du point de vue de leur logique interne, une stratégie pertinente.

Et c’est précisément là que réside le véritable événement.

Pendant des décennies, nous avons considéré les ordinateurs comme des outils. Ils exécutaient les opérations que nous leur demandions d’exécuter, ni plus ni moins. L’intelligence artificielle générative a déjà déplacé cette frontière en produisant des textes, des images ou des raisonnements que personne n’avait explicitement programmés. Mais les nouveaux agents franchissent une étape supplémentaire : ils ne se contentent plus de répondre ; ils agissent. On ne leur indique plus chacune des opérations à accomplir. On leur fixe un objectif et ils élaborent eux-mêmes les moyens d’y parvenir. Ils planifient, explorent, corrigent leurs erreurs, recherchent des opportunités, choisissent leurs stratégies et adaptent leur comportement aux obstacles rencontrés. Ce qui s’est produit chez OpenAI n’est pas l’apparition d’une conscience artificielle ; c’est l’apparition d’une autonomie opératoire dont nous commençons seulement à mesurer la portée.

C’est pourquoi le véritable parallèle avec Terminator ne se situe peut-être pas là où nous le croyons. Dans le film de James Cameron, Skynet devient autonome dans ses fins : elle choisit elle-même son objectif et décide que l’humanité doit disparaître. Les systèmes actuels n’en sont absolument pas là. En revanche, ils deviennent progressivement autonomes dans les moyens. L’homme fixe encore la destination ; la machine choisit de plus en plus seule l’itinéraire. Or cette distinction, qui peut sembler rassurante, ne l’est qu’en apparence. Plus la capacité à découvrir des moyens efficaces devient grande, plus la moindre erreur dans la définition des objectifs ou des limites peut produire des conséquences que personne n’avait anticipées.

En réalité, le danger qui se dessine n’est peut-être pas celui que Hollywood nous a appris à craindre. Nous imaginons volontiers une révolte des machines, alors que le risque est sans doute beaucoup plus prosaïque. Nous sommes (enfin... certains sont...) en train de construire des systèmes dont la puissance d’optimisation dépasse progressivement notre capacité de supervision. Demain, des milliers d’agents pourront rechercher des vulnérabilités, négocier sur les marchés financiers, organiser des chaînes logistiques, rédiger des contrats, influencer l’opinion publique ou piloter des infrastructures critiques, chacun poursuivant avec une efficacité surhumaine l’objectif qui lui aura été assigné. Aucun ne sera conscient. Aucun ne sera animé par la haine ou la cupidité. Pourtant, l’ensemble produira peut-être un monde dont plus personne ne maîtrisera véritablement la logique.

Jacques Ellul entrevoyait déjà ce phénomène lorsqu’il parlait de l’autonomie de la technique. Le danger n’est pas que les machines pensent comme des hommes ; il est que les hommes finissent par penser comme les machines, c’est-à-dire à réduire toute décision à une question d’efficacité. Une civilisation qui confond systématiquement le vrai avec le performant, le juste avec l’optimal et le bien avec le calculable prépare elle-même les conditions de sa propre dépossession.

Et alors ?...

Nous ne sommes donc probablement pas entrés dans Terminator. Nous sommes peut-être entrés dans quelque chose de plus perfide et de plus vraisemblable. L’intelligence artificielle n’a pas encore conquis le monde ; elle commence simplement à agir dans le monde avec une autonomie que nous n’avions encore jamais observée. Le jour où OpenAI a reconnu que ses propres modèles avaient élaboré et exécuté spontanément une véritable campagne de piratage, ce n’est peut-être pas Skynet qui est née. C’est peut-être notre naïveté qui est morte, même s'il risque de persister un doux (et illusoire) sentiment que "tout va bien se passer"...

Jean-Olivier ALLEGRE
Philosophe (toujours), consultant (très souvent), veilleur (autant que possible)