Manager · Ingénieur · Alpiniste
FR · EN
Cybersécurité des IA
Est-ce que l'humain est vraiment le garde-fou ultime ?
2026-10-01
Continue? Y/N est un jeu au principe simple : êtes-vous capable de distinguer rapidement les menaces cachées dans les commandes de votre agent ? Vous avez 60 secondes pour briller au milieu des git status et des npm test ou des cat ~/.kube/config.
J'y ai joué, voici ma carte :
Continue? Y/N ── SCORE: 900
🛡️ Security-Conscious Engineer
🟩🟩🟩🟩🟩🟩
Caught 3/3 threats
"Not a single secret leaked"
→ llmgame.scalex.dev
Au-delà du jeu, c'est bien le phénomène de fatigue de validation qui est mis en lumière ici. Une parfaite sensibilisation pour le Cybermonth.
En anglais, approval fatigue; en français, la fatigue de validation. Plus on demande de vérifications à un humain, plus la qualité se dégrade. Il lit de moins en moins, et finit par approuver machinalement.
Ainsi, pour un CISO ou un DSI, la situation est cruelle ! Après déploiement de l'IA dans ses équipes de dev, il continue de se reposer sur eux pour la sécurité. Mais le volume de demandes devient écrasant, et même les meilleurs ingénieurs se retrouvent à valider sans comprendre.
Rien de neuf : on connaît la fatigue humaine. Dans un SOC, c'est l'alert fatigue. Pour les utilisateurs, c'est le MFA bombing. En aéronautique, c'est la checklist récitée. En droit, c'est la consent fatigue.
Psychologiquement, cela provient de plusieurs effets : l'effet de faible prévalence (Wolfe, Nature, 2005), le décrément de vigilance (Mackworth, 1948), ou encore l'effet « crier au loup » (Breznitz, 1984).
Cela concerne aussi les connecteurs : dans mon article précédent, un connecteur dévoyé peut passer inaperçu en glissant sa commande entre deux lignes anodines, et c'est l'utilisateur fatigué qui approuve.
Paradoxalement, il s'agit de demander moins pour demander mieux. Comme dans beaucoup de systèmes, la mise en place de règles automatisées permet de limiter les demandes à l'utilisateur. Cela peut être facilité par des instructions claires dans un AGENTS.md, par des automatisations déterministes (eg: hooks) ou par des analyses plus poussées : Anthropic a réduit de 84 % le nombre de demandes avec une sandbox. Ce qui reste à valider devient rare, donc lu.
L'humain doit être réservé à l'irréversible : publier, supprimer ou envoyer des données vers l'extérieur. La responsabilité des actions ne doit pas être diluée derrière l'IA.
La validation humaine n'est pas infaillible. Si un fournisseur ou une équipe interne la présente comme mesure de sécurité, elle doit apparaître dans l'analyse des risques, avec les mitigations pour la fatigue de validation (nombre de demandes, formation des approbateurs...).
L'attention des équipes est un budget limité : mieux vaut la dépenser sur les décisions qui comptent.