Teknik - L'histoire d'un honeypot GenAI
09 novembre 2026
Parce que... c'est l'épisode 0x366!
Parce que… c’est l’épisode 0x366!
Shameless plug
- 13 et 14 novembre 2026 - Worldwide - DEATHCon
- 16 au 19 novembre - Rennes, France - European Cyber Week 2026
- 25 et 26 février 2027 - Québec, Canada - SéQCure 2027
- 9 au 11 mars 2027 - Lilles, France - Forum INCYBER - Europe 2027
- I.A. Café - Enquête au cœur de la recherche sur l’intelligence artificielle
- 16 novembre 2026 - Paris, France - CNIL - Convaincre ou manipuler ? L'éthique du numérique à l'épreuve des urnes
- Boostsecurity - Dazio
Description
Cette description a été faite à l’aide de GLM 5.3 Flash, à partir de la transcription qui a été effectuée par ElevenLabs Scribev2. Aucune vérification humaine n’a été faite. Si vous découvrez des erreurs ou des inexactitudes, vous pouvez m’en faire part afin que je procède aux modifications appropriées.
La genèse du projet
Jérémy Scion présente une recherche de son équipe, qui expose quotidiennement des honeypots dans le monde pour suivre différentes menaces. Avec l’essor de l’IA, il est apparu nécessaire de monitorer cet écosystème, que ce soient des LLM directement exposés comme Ollama ou des orchestrateurs s’interfacant avec ces technologies. L’investigation porte sur un honeypot Flowise, un outil low code no code pour fabriquer des workflows basés sur l’IA, déployé notamment au Japon et en Europe à une période où plusieurs CVE affectaient ce produit et étaient exploitées par des botnets, surtout pour du minage de cryptomonnaie.
Une émulation réaliste plutôt qu’un vrai logiciel
Contrairement à certaines pratiques, l’équipe n’a pas exposé un vrai Flowise vulnérable mais un outil interne émulant son comportement. Exposer un vrai modèle comme Ollama risque de voir le serveur utilisé comme vecteur d’attaque, ce qui pose des difficultés légales, et un attaquant consomme des ressources de calcul réelles. L’émulation reproduit donc un comportement assez exhaustif, avec des faux chat flows ressemblant à des usages réels de l’IA en entreprise, dont un interfacé avec une fausse base PostgreSQL simulant des données financières. Une gestion d’état de session renforce le réalisme. Si un attaquant crée un fichier puis lance un LS, le fichier apparaît dans les résultats tout en restant purement virtuel. Le moteur d’inférence est également factice, avec des réponses préconstruites imitant les refus typiques des LLM, retournées aléatoirement, et des temps de réponse variables pour renforcer la crédibilité.
Le déroulement de l’attaque
Sur les trois honeypots déployés, seul celui du Japon a été ciblé rapidement. L’attaquant a d’abord mené une reconnaissance automatisée, interrogeant l’API pour identifier les endpoints accessibles, volontairement vulnérables. Il a ensuite entamé une phase de loot, tentant de voler un maximum d’identifiants, notamment des clés API de modèles frontières comme Claude ou ChatGPT, mais aussi d’outils internes. Puis il a tenté d’utiliser le honeypot comme point d’entrée pour scanner un réseau interne et exécuter des commandes de recon, avant de chercher à exploiter le workflow lié à la fausse base financière. Face à ces échecs, il a pivoté vers une autre stratégie.
Le pivot vers les plateformes de jeux en ligne
L’attaquant a alors tenté d’abuser du moteur d’inférence pour lancer de la reconnaissance et des scripts d’attaque contre des cibles externes, apparemment des sites de paris et de casinos en ligne. Plusieurs indices convergent vers un attaquant sinophone. D’abord l’usage d’un argot chinois très précis, le mot « bocai », littéralement « épinard argent », terme argotique désignant les jeux d’argent et marque, selon des analystes sinophones, d’un locuteur maîtrisant parfaitement le chinois. Ensuite le ciblage exclusif du honeypot japonais, ceux d’Europe étant ignorés. Enfin l’intérêt pour Nightingale, un outil de supervision principalement utilisé en Asie et notamment en Chine.
Automatisation et intervention manuelle
L’analyse révèle deux phases distinctes. La reconnaissance des instances Flowise semble scriptée, avec un enchaînement rapide d’accès aux différentes API. L’interaction par prompts avec le moteur d’inférence paraît entièrement manuelle. Les délais varient entre les requêtes et chaque prompt s’adapte à la réponse précédente, ce qui suggère un opérateur les mains sur le clavier. La bascule de langue en cours d’interaction a d’abord été interprétée comme une tentative de bypass des politiques des LLM, technique consistant à mélanger les langues pour obtenir des réponses normalement refusées, avant de s’avérer l’expression naturelle d’un locuteur chinois.
Une criminalité régionalisée et spécialisée
Ces observations alimentent une hypothèse de travail prudente. Les jeux d’argent en ligne étant interdits en Chine continentale, un écosystème cybercriminel s’est développé autour de plateformes hébergées dans les pays voisins. Un éditeur de renseignement avait documenté un acteur, Earth de Roca, ciblant ce type de plateforme, et Check Point a publié parallèlement un rapport faisant un rapprochement similaire. Rien ne permet d’affirmer qu’il s’agit du même opérateur, mais l’hypothèse reste cohérente. Jérémy souligne aussi la spécialisation de la cybercriminalité, avec des groupes dédiés au phishing, à la diffusion d’infostealers ou à l’intrusion. Un groupe spécialisé dans ce type de cible s’attaque naturellement aux zones où ces plateformes sont présentes, principalement en Asie du Sud et de plus en plus au Brésil. Ce ciblage régional nuance l’idée d’attaquants opérant toujours depuis des pays très éloignés.
Les suites de la recherche
L’équipe poursuit plusieurs pistes. La victimologie d’abord, en croisant les plateformes potentiellement ciblées avec celles décrites par Check Point afin d’identifier des recoupements et de reconstituer une image d’ensemble avec d’autres acteurs du renseignement cyber. Le honeypot, une fois ébruité, a été coupé et sera redéployé ailleurs avec des identifiants et des flows modifiés pour que l’attaquant ne reconnaisse pas l’infrastructure. L’équipe souhaite aussi doter ses honeypots de canary tokens afin de suivre si les clés API factices sont validées ou revendues, car le vol de tokens de modèles d’inférence se généralise, porté par un business d’usage direct ou de revente.
Enseignements et perspectives
Au-delà de ce cas, les honeypots de l’équipe couvrent aussi Langflow et des technologies du même genre, régulièrement ciblées via leurs CVE, notamment pour du minage de cryptomonnaie. Jérémy émet l’hypothèse que les infrastructures liées à l’IA, supposées disposer de plus de puissance de calcul, sont perçues comme plus rentables pour le minage. Les honeypots captent chaque jour des tentatives de LLM abuse, du simple script demandé à un modèle jusqu’à des techniques plus avancées. Comprendre ces usages, s’en protéger et développer des moyens de détection constituent les prochains chantiers de l’équipe pour enrichir la connaissance des écosystèmes cybercriminels.
Notes
Contributeurs
|
|
| Nicolas-Loïc Fortin | Jérémy Scion |
Crédits
- Montage par Intrasecure inc
- Locaux virtuels par Riverside.fm
Tags: honeypot, ia












