Stage M2 Vulnérabilités des Modèles d'IA Générative Lors de la Phase d'Adaptation H/F - 78

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au coeur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

- La conscience des responsabilités
- La coopération
- La curiositéRejoignez-nous en Stage !
En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des équipements de pointe et à des ressources de recherche de premier ordre pour mener à bien vos missions.

Description du poste :
Nous observons actuellement l'augmentation de la mise à disposition de modèles profonds pré-entrainés (modèles de fondations) qui vont ensuite être adaptés pour la réalisation d'une tache spécifique. Parmi les techniques d'adaptation, deux sont particulièrement intéressantes car elles ne nécessitent pas nécessairement de modifier les paramètres internes du modèle :
- RAG (Génération Augmentée par Récupération) permet aux modèles d'IA générative de se référer à une base de connaissances externe afin de générer un contenu mis à jour et spécialisé
- In-context learning (apprentissage en contexte) désigne la capacité d'un modèle d'IA générative à apprendre ou à adapter son comportement à partir d'exemples ou d'instructions fournis dans le prompt
Bien que l'utilisation de ces usages est en train de se démocratiser dans le monde industriel, il y a encore beaucoup d'incertitudes concernant les risques autour de ces techniques de personnalisation. Le sujet de stage proposé consiste à étudier les menaces liées à l'intégrité lors de l'adaptation de modèles d'IA générative par des techniques de type RAG ou In-context learning.
Le stage débutera par une étude bibliographique sur les attaques (notamment les attaques backdoor) contre les systèmes RAG [1;2] et In-context learning [3 ;4]. Les attaques prometteuses seront implémentées et évaluées. Des défenses pourront ensuite être proposées et testées.

[1] W. Zou, R. Geng, B. Wang, and J. Jia. PoisonedRAG: Knowledge poisoning attacks to retrieval-augmented generation of large language models'. ArXiv 2402.07867. Aug. 2024.
[2] H. Chaudhari, G. Severi, J. Abascal, M. Jagielski, C. A. Choquette-Choo, M. Nasr, C. Nita-Rotaru, and A. Oprea. Phantom: General Trigger Attacks on Retrieval Augmented Language Generation'. ArXiv 2405.20485. Oct. 2025.
[3] N. Kandpal, M. Jagielski, F. Tramer, and N. Carlini. Backdoor Attacks for In-Context Learning with Language Models'. ArXiv 2307.14692. Jul. 2023.
[4] S. Zhao, M. Jia, L.A. Tuan, F. Pan, and J. Wen. Universal Vulnerabilities in Large Language Models: Backdoor Attacks for In-Context Learning'. ArXiv 2401.05949. Oct. 2024.