Stage - IA Multimodale Création d'Un Jeu de Données Audio-Visuel pour la Calibration Multi-Capteur H/F - 78

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au coeur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

- La conscience des responsabilités
- La coopération
- La curiositéRejoignez-nous en Stage !

CEA Tech Corporate from CEA Tech on Vimeo.
En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des équipements de pointe et à des ressources de recherche de premier ordre pour mener à bien vos missions.
Description du poste :
L'équipe du LIIDE est impliquée dans des projets visant à exécuter des algorithmes d'intelligence artificielle (apprentissage et inférence) sur des noeuds de calcul à ressources limitées. Dans ce cadre, notre objectif est de développer des outils et jeux de données permettant d'améliorer la compréhension et la calibration des systèmes de perception audio-visuels. Ces travaux s'inscrivent dans la perspective de renforcer les capacités de localisation de sources sonores.
Dans ce contexte, vous intégrerez une équipe travaillant sur des projets innovants à l'intersection de l'intelligence artificielle, de systèmes embarqués et du traitement du signal audio. Vos missions incluront :
Réalisation d'un état de l'art sur les approches de calibration et d'estimation des paramètres extrinsèques entre caméras et microphones
Conception et acquisition d'un jeu de données audio-visuel
Prétraitement, organisation et documentation du jeu de données pour l'apprentissage de modèles d'IA
Évaluation d'algorithmes existants de localisation 3D de sources sonores à partir des données acquises
Analyse des résultats et propositions d'améliorations pour de futurs développements
En fonction des attendus de votre école, les objectifs et livrables pourront être ajustés.

Bibliographie:
Chen, Changan, et al. "Soundspaces 2.0: A simulation platform for visual-acoustic learning." Advances in Neural Information Processing Systems 35 (2022): 8896-8911.
Chen, Changan, et al. "Soundspaces: Audio-visual navigation in 3d environments." European conference on computer vision. Cham: Springer International Publishing, 2020.
He, Yuhang, et al. "Sound3DVDet: 3D Sound Source Detection Using Multiview Microphone Array and RGB Images." Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2024.
Michaud, Simon, et al. "3D localization of a sound source using mobile microphone arrays referenced by SLAM." 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2020.
Chen, Changan, et al. "Sim2real transfer for audio-visual navigation with frequency-adaptive acoustic field prediction." 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2024.