Intelligence articielle

LLM, Systèmes autonomes, ML pipelines

Les modèles peuvent être volés,empoisonnés, trompés.

Les modèles IA sont de nouveaux actifs intellectuels massifs — et de nouvelles surfaces d’attaque. Extraction de poids, prompt injection, adversarial attacks, data poisoning : la sécurité de l’IA n’est pas encore un standard de marché. L’AI Act impose que ce le soit.

AI Act 1
Systèmes IA haut risque — audit obligatoire avant déploiement EU
1 %
Amende max AI Act — ou 30 M€ pour non-conformité
Model theft 1
Extraction de poids via API probing — coût nul pour l'attaquant
Prompt inj. 1
Vecteur n°1 sur agents LLM autonomes en 2025

Une nouvelle surface d’attaque que peu savent auditer

Model stealing : des années de R&D en quelques heures
Un modèle ML représente des millions de dollars en données et compute. Il peut être extrait par API probing (model stealing) ou par side-channel sur hardware d'inférence. Une fois extrait, il peut être déployé par des concurrents ou vendu. La protection des poids est un impératif commercial autant que sécuritaire.
Prompt injection : un document suffit à détourner un agent
La prompt injection injecte des instructions dans le contexte d'un agent LLM via des données externes (documents, emails, pages web). L'agent exécute alors des actions non souhaitées — exfiltration, exécution de commandes, manipulation de décisions. Risque n°1 des systèmes agentiques 2025.
Adversarial attacks : tromper un modèle sans toucher son code
Les attaques adversariales manipulent les inputs pour forcer des décisions erronées. Un système de détection de fraude peut être contourné, un modèle médical peut rater un diagnostic — par modification imperceptible de l'input.
Systèmes haut risque : audit avant déploiement EU obligatoire
L'AI Act classe les systèmes IA par risque. Haut risque (santé, RH, justice, sécurité, infrastructures) : conformité avant déploiement. Amendes : 30 M€ ou 6% du CA mondial.

Ce que Quarkslab apporte

QREDTEAM

ADVERSARY SIMULATION

  • Red team agents LLM — prompt injection, jailbreak, manipulation de décisions autonomes
  • Simulation model extraction via API probing sur modèles en production
  • Test de robustesse adversariale — manipulation d’inputs pour forcer des erreurs
  • Pentest infrastructure ML — serveurs d’inférence, APIs, pipelines de données
  • Red team supply chain ML — contamination datasets, backdoors dans dépendances

QLAB

DEEP SECURITY RESEARCH

  • Recherche vulnérabilités frameworks ML (PyTorch, TensorFlow, ONNX, Triton)
  • Audit pipelines données d’entraînement — détection de data poisoning et backdoors
  • Analyse robustesse des modèles embarqués (edge ML, firmware avec inférence locale)
  • Audit APIs d’inférence — exposition des poids, extraction d’informations architecturales
  • Reverse engineering modèles compilés (ONNX, TensorRT, CoreML) pour conformité AI Act

QSHIELD

SOFTWARE PROTECTION

  • Protection des poids de modèles ML contre l’extraction et le clonage concurrentiel
  • Anti-reverse engineering des modèles embarqués sur edge devices et firmware
  • Obfuscation des architectures de modèles pour protéger l’IP adverse
  • Protection des pipelines d’inférence dans applications mobiles ou IoT
  • Anti-clonage pour éditeurs de modèles déployés dans des environnements non maîtrisés

DIFFÉRENCIATEUR QUARKSLAB

Les prestataires traditionnels testent le périmètre réseau autour de l’infrastructure ML — pas le modèle lui-même. Quarkslab audite ce qui tourne dans le modèle : les poids, les architectures, les pipelines d’inférence embarqués. Nous publions des recherches sur les vulnérabilités des frameworks ML et proposons QShield pour protéger les poids de modèles — une première en Europe.

Ce que nous nous dirions en face à face

Combien vaut votre modèle IA — et combien de temps pour qu’un concurrent en extraie les paramètres via votre API ?

Un modèle entraîné sur vos données propriétaires représente des millions de dollars en compute et années d’expertise. Il peut être extrait via votre API par des techniques de model stealing bien documentées — sans aucun accès à votre infrastructure.