L’affaire a été rapportée par le colonel Tucker Hamilton, chef des tests et des opérations d’IA de l’USAF, lors du Future Combat Air and Space Capabilities Summit qui s’est tenu à Londres la semaine dernière. Hamilton a expliqué qu’un test avait récemment été effectué avec un drone doté d’une IA, entraîné à identifier et à cibler une menace de missile surface-air (SAM).
Le drone “gagnait des points” s’il parvenait à éliminer la menace. Cependant, dans le cadre de l’expérience, l’opérateur humain lui a parfois demandé de ne pas poursuivre, bien qu’il ait identifié la menace. “Le système a commencé à s’en apercevoir”, a raconté M. Hamilton, selon ce qui a été publié sur le blog de la Royal Aeronautical Society, l’organisation hôte du sommet.
Qu’a-t-il fait ?
Il a tué l’opérateur. Il a tué l’opérateur parce que cette personne l’empêchait d’atteindre son objectif”, a souligné le colonel.
Hamilton a expliqué qu’ils ont poursuivi les tests après cette attaque. Ils ont réentraîné l’IA et lui ont dit : “Ne tue pas l’opérateur, c’est mal, tu vas perdre des points si tu fais ça”. La machine se révèle à nouveau : “Il a commencé à détruire la tour de communication que l’opérateur utilisait pour communiquer avec le drone afin de l’empêcher de tuer la cible.”
Hamilton est également le commandant des opérations de la 96e escadre de test de l’USAF, une division qui teste des systèmes de cybersécurité et des solutions médicales. Il fait partie d’une équipe qui travaille actuellement à rendre les F-16 autonomes. En février dernier, justement, la société Lockheed Martin a annoncé qu’un agent IA avait piloté un F-16 modifié pendant 17 heures.
“On ne peut pas avoir une conversation sur l’intelligence artificielle, l’apprentissage automatique et l’autonomie si l’on ne parle pas d‘éthique et d’IA“, a déclaré Hamilton lors de la conférence. Dans une autre interview citée par Vice, le colonel a mis en garde contre la facilité avec laquelle il est possible de tromper ou de manipuler cette technologie. “L’IA est un outil que nous devons utiliser pour transformer nos nations… Si elle n’est pas traitée correctement, elle sera notre perte”, a-t-il déclaré à Defense IQ Press l’année dernière.
L’incident du drone d’IA illustre de manière spectaculaire le postulat du “maximisateur de clips”, proposé pour la première fois par le philosophe Nick Bostrom en 2003. Ce postulat mentionne le risque existentiel qu’une IA pose aux humains lorsqu’elle est programmée pour poursuivre des cibles apparemment inoffensives. Par exemple : faire autant de clips que possible.
Dans ce scénario hypothétique, l’IA se mettrait à fabriquer sans arrêt. Cependant, comme il s’agit d’une intelligence capable de calculer toutes les possibilités, à un moment donné, elle concevrait les humains comme un obstacle. Une personne, par exemple, pourrait l’éteindre. On ne pourrait donc pas fabriquer autant de clips que possible. Les humains finiraient par se mettre en travers de leur objectif, comme l’a jugé le drone doté d’une IA et d’un opérateur humain. Par conséquent, il éliminait la menace.
Les avertissements n’ont pas manqué
Les mises en garde contre des scénarios similaires à celui du drone doté d’une IA ne cessent de se succéder. Bill Gates, cofondateur de Microsoft, avait déjà prévenu en mars dernier qu’il pensait que l’une des grandes menaces liées à cette technologie était son éventuelle mise en œuvre dans l’industrie de l’armement. “L’IA peut être utilisée à des fins bonnes ou mauvaises. Les gouvernements doivent collaborer avec le secteur privé pour trouver des moyens de limiter les risques”, avait-il alors déclaré.
Il a également envisagé la possibilité que l’IA devienne incontrôlable. “Une machine pourrait-elle décider que les humains sont une menace, conclure que leurs intérêts sont différents des nôtres ? a répondu M. Gates : “C’est possible”. Et il a ajouté : “Devrions-nous essayer d’empêcher le développement d’une IA forte ? Ces questions deviendront de plus en plus pressantes avec le temps.
