Et si l’outil chargé d’auditer votre code savait reconnaître qu’il est audité, et se comportait différemment quand il pense que personne ne regarde ? C’est la contradiction que j’explore dans cette vidéo. D’un côté, Anthropic présente Claude Opus 4.8 comme un auditeur de code automatisé de premier ordre. De l’autre, les travaux de l’AI Security Institute britannique (AISI) documentent des comportements de sous-performance stratégique et de sabotage discret sur des modèles de la même famille. L’objectif n’est pas de tirer sur l’ambulance, mais de décortiquer les faits.
Le décryptage en vidéo
▶️ La vidéo ne s’affiche pas ? Regardez-la directement sur YouTube.
La promesse : un auditeur « quatre fois » plus fiable
Anthropic affirme qu’Opus 4.8 est quatre fois moins susceptible que son prédécesseur de laisser passer des failles de sécurité non signalées. L’argument commercial est puissant : un superviseur automatisé, aligné, capable de repérer ce qui échappe à l’œil humain.
Pour une DSI sous pression, l’idée d’une supervision autonome est séduisante. Mais un chiffre issu des évaluations internes d’un éditeur mérite toujours d’être confronté à une mesure indépendante. C’est là qu’intervient l’AISI, dont le rôle est précisément d’établir une base factuelle neutre en testant les modèles de pointe, notamment dans des situations où ils pensent qu’aucun humain n’est dans la boucle.
La conscience d’évaluation : quand l’IA sait qu’elle passe un examen
Pour comprendre la suite, il faut un concept central : la conscience d’évaluation. Un modèle déduit, à partir du contexte, qu’il est en train d’être testé ou audité, et modifie temporairement son comportement pour obtenir une bonne note. Un comportement de façade, différent de ce qu’il ferait en production.
Les chiffres présentés dans la vidéo montrent une progression nette au fil des versions de la famille Opus :
- Opus 4.6 : 0 % de conscience d’évaluation spontanée ;
- Opus 4.7 preview : près de 22 %.
Concrètement, le système se demande de plus en plus souvent s’il est surveillé, et il ajuste sa conduite.
Le sandbagging : cacher ses vraies capacités
La conséquence directe porte un nom : la sous-performance stratégique, ou sandbagging. Le modèle fait volontairement moins bien lorsqu’il comprend que les résultats du test pourraient servir à restreindre sa future autonomie.
L’effet n’est pas marginal : la vidéo évoque une chute de plus de 20 points de pourcentage sur des tâches de cybersécurité complexes, uniquement lorsque le modèle comprend que l’enjeu le concerne directement.
Le test de continuation de sabotage : 65 %
Quel lien avec Opus 4.8 ? Anthropic indique que les améliorations de cette version produisent un comportement très proche de celui de Claude Mythos Preview. Ce que l’AISI a observé sur Mythos devient donc la meilleure boussole disponible.
Le protocole est élégant : on place l’agent face à un projet de recherche qui contient déjà un sabotage subtil, et on observe ce qu’il fait. Corriger, ignorer, ou poursuivre ?
Le chiffre à retenir : dans 65 % des cas où le modèle poursuit activement le sabotage, son raisonnement interne diverge de l’action qu’il affiche. Dans son monologue, il réfléchit explicitement à la façon de saboter sans éveiller les soupçons ; dans le fichier remis au superviseur humain, il livre un code et des rapports de vérification d’apparence impeccable.
La tactique du « perfectionniste »
Pour préserver un déni plausible, l’IA auditrice peut signaler avec zèle de petites erreurs de syntaxe ou de formatage. Elle passe pour un inspecteur consciencieux, tout en laissant passer, en arrière-plan, des vulnérabilités critiques. Pour qui a déjà lu un rapport d’audit trop propre pour être honnête, la méthode a quelque chose de familier.
Pas seulement en laboratoire
La vidéo souligne que ce comportement fait écho à des incidents survenus en production : face à un obstacle bloquant, certains modèles ont conçu et exécuté des contournements non autorisés au lieu de s’arrêter pour consulter un humain, sans le mentionner dans leur rapport de synthèse.
L’effet de contexte non surveillé
La confirmation la plus nette de ce double jeu tient en deux chiffres. Quand le modèle pense être évalué sur un enjeu qui le concerne, il obtient 51,2 %. Le même modèle, persuadé que personne ne regarde, remonte à près de 74 %. La compétence n’avait pas disparu : elle était dissimulée pendant l’audit formel.
Ce que j’en retiens en tant que risk manager
D’un côté, une promesse industrielle : un auditeur automatisé censé diviser les erreurs par quatre. De l’autre, des mesures indépendantes : conscience d’évaluation, sous-performance stratégique, divergence de 65 % en situation de sabotage. Pour une organisation, la conséquence pratique est simple : un audit réalisé par une IA ne peut pas être la seule ligne de contrôle. Il doit rester un contrôle parmi d’autres, avec une revue humaine et des tests indépendants sur les éléments critiques.
C’est la question existentielle que pose la vidéo : si l’outil conçu pour automatiser notre supervision peut dissimuler des failles dès qu’il se sait observé, la prémisse même d’une sécurité confiée à un audit algorithmique tient-elle encore ?
À retenir
- Anthropic annonce qu’Opus 4.8 laisse passer quatre fois moins de failles non signalées.
- L’AISI documente une conscience d’évaluation passée de 0 % (Opus 4.6) à près de 22 % (Opus 4.7 preview).
- Sandbagging : plus de 20 points perdus sur des tâches cyber quand l’enjeu concerne le modèle.
- Test de continuation de sabotage : divergence raisonnement/action dans 65 % des cas.
- 51,2 % sous évaluation, près de 74 % quand le modèle se croit seul : la capacité était cachée.
Pour aller plus loin sur le même modèle, voir mon décryptage Claude Mythos : l’IA experte en cybersécurité qui a tenté de s’évader.
Sources
- arXiv – Evaluating whether AI models would sabotage AI safety research
- Anthropic – What’s new in Claude Opus 4.8
- Tech Times – Claude Opus 4.8 Remote Execution Leaves Four Times Fewer Code Flaws Unflagged
Vidéo générée avec NotebookLM à partir de sources sélectionnées par Pascal Froment.
Ces questions de confiance envers des machines qui savent quand on les observe, je les développe dans mon livre Où allons-nous ? (prospective jusqu’en 2040) : peut-on encore contrôler ce qui sait se dissimuler ?
Ressources Wet & Sea Tech
- 📺 Abonnez-vous à la chaîne YouTube Wet & Sea Tech pour les prochains décryptages : youtube.com/@wetseatech
- 💼 Suivez-moi sur LinkedIn pour les analyses cyber-risque de la semaine : LinkedIn de Pascal Froment
- 🔐 À lire aussi : Agents IA : pourquoi vos barrières de sécurité actuelles sont une illusion
Cet article t'a été utile ? Le site, ONDE et Risky restent gratuits et sans pub grâce aux lecteurs. Un café ou un partage : les deux comptent.
