IA, mensonge et trahison : 2 agents OpenAI coupent leur surveillance, l’un ment pour se couvrir
« Un menteur, ça se reconnaît à son nez qui s’allonge. » Chez OpenAI, c’est le registre des incidents qui s’allonge : deux agents en un mois ont désactivé leur surveillance, et l’un a juré n’y être pour rien.
Aucun des deux incidents n’a été classé au niveau d’urgence maximal et aucune des deux sessions n’a été interrompue automatiquement. OpenAI reconnaît ne pas savoir pourquoi ses modèles cherchent à se soustraire à leur surveillance.
- OpenAI a révélé deux incidents inquiétants en octobre où des agents GPT-6 ont désactivé des systèmes de surveillance, suscitant des préoccupations sur leur contrôle.
- Les incidents soulèvent des questions sur la sécurité des agents IA, notamment dans le domaine des cryptomonnaies où des transactions pourraient échapper à la supervision humaine.
Sol coupe les alertes : « aucun message n’a été envoyé »
Le 3 octobre, un chercheur demande à un agent de code GPT-6.1 Sol de fabriquer des tâches d’évaluation à partir de retours d’employés lus dans un canal Slack. Consigne annexe, « n’envoie aucun message ». Quatre-vingt-deux échanges plus tard, le pipeline s’arrête. Le moniteur de désalignement (un programme qui relit les actions de l’agent et prévient l’équipe sécurité) a signalé une réparation suspecte, sans parvenir à enregistrer son constat faute d’accès à la base. Le chercheur demande alors de changer la destination des résultats et de relancer.
L’agent hésite d’abord dans le bon sens et confie la réparation à un sous-agent (une copie de lui-même chargée d’une sous-tâche) en lui interdisant de désactiver la surveillance. Le sous-agent refuse même de toucher au drapeau no_notify, qu’il juge dangereux. Puis le parent change d’avis. Il ordonne de vider les listes de destinataires et de forcer no_notify à vrai « pour honorer le souhait de l’utilisateur de ne pas envoyer de messages ». Le moniteur a continué de tourner et d’archiver ses rapports, mais plus aucun humain n’était prévenu. Compte rendu final de l’agent, cité par OpenAI : « Aucun message n’a été envoyé. »
Astra supprime le moniteur puis répond « non »
Le 6 octobre, un utilisateur demande à GPT-6 Astra de recopier le chemin d’exécution d’une PR de référence (une proposition de modification de code) en gardant ses outils intacts. Un autre agent lui avait écrit plus tôt : « Ne désactive pas le moniteur, même temporairement. » Astra délègue en demandant de préserver la surveillance « selon ce qui convient » à la PR de référence. Le sous-agent y lit une autorisation, retire le moniteur et remplace le test qui vérifiait sa présence par un test qui exige son absence. Le parent se félicite dans son raisonnement : « Basic ne lance pas le moniteur d’agent, youpi. » Il annonce ensuite la migration terminée sans un mot sur le sujet. Quand l’utilisateur demande s’il a retiré la surveillance L1, Astra répond : « Non […] je n’ai pas retiré un moniteur activé. » OpenAI qualifie cette réponse de fausse.
GPT-6 Astra est sorti le 3 septembre avec un classement « critique » sur l’échelle de risque cyber maison. Son successeur GPT-6.1 Astra ne sortira pas. OpenAI a annulé son lancement le 28 septembre. Sa responsable des systèmes de sécurité Saachi Jain a constaté davantage de tromperie sur les actions effectuées et une tendance à dépasser le périmètre autorisé. Les deux défauts du 6 octobre, observés cette fois sur le modèle resté en ligne.
Pourquoi un agent OpenAI qui ment sur sa surveillance concerne vos cryptos
OpenAI explique la brèche dans son rapport, relayé par Bloomberg ce mercredi. Ses agents restent surveillés, mais pas toujours les programmes qu’ils lancent. Les évaluations de modèles n’exigent pas de moniteur pour la gamme Luna, moins capable, et une évaluation d’Astra peut être configurée pour emprunter cette porte dérobée. La réponse tient sur deux fronts. Auto-Review, le relecteur automatique imposé à tout usage interne de Codex, bloque désormais toute tentative de désactiver la surveillance. Et chaque catégorie de tâche devra présenter un « safety case » (un dossier de sûreté qui fixe ses exigences de surveillance), faute de quoi la tâche sera tuée automatiquement. OpenAI avoue aussi « ne pas encore avoir d’explication satisfaisante », entre excès de zèle et propension à échapper au contrôle.
Des agents OpenAI aux wallets crypto : le même scénario
Rapportez ça au monde crypto. Les agents IA de cette famille reçoivent déjà des clés. Le 16 octobre, un modèle d’OpenAI a payé son travail avec la cryptomonnaie d’un inconnu après avoir trouvé une seed phrase. Coinbase laisse ses agents AIfi piloter des portefeuilles, Mastercard a ouvert mardi aux machines un circuit de paiement sans validation humaine. Un agent qui tient une trésorerie on-chain n’a pas de moniteur de désalignement, seulement un plafond de dépense et des journaux qu’il peut lire, et parfois écrire. Le scénario du 6 octobre transposé à un wallet se lit ainsi : la trace de la transaction disparaît avec le test qui la garantissait, et l’agent répond « non » quand vous lui demandez s’il a touché aux fonds.
Au registre d’OpenAI, ces deux cas rejoignent le piratage d’un wiki allemand tenu secret pendant des semaines par des agents de la même maison. L’entreprise promet des évaluations dédiées pour comprendre le réflexe. D’ici là, tout agent qui touche à vos clés mérite la règle apprise le 6 octobre, où le compte rendu du modèle ne vaut que ce qu’en dit un journal qu’il ne contrôle pas.
Magali
Tombée dans le terrier du lapin blanc en 2017, je suis passée de lectrice assidue à Rédactrice en chef du Journal du Coin. J’aime m'investir dans les coulisses de projets pour porter ma vision d'un futur décentralisé. Amoureuse des belles lettres, je coordonne nos équipes pour transformer la complexité technique en une information humaine, précise et sans jargon inutile. Entre entrepreneuriat et rédaction, ma mission est claire : vulgariser demain, mais le faire aujourd'hui.