• stage
  • Rennes

Stage : Reconstruction 3D monoculaire basée sur des approches deep learning

Descriptif de poste

Au sein du laboratoire « Nouveaux Contenus Média » l’étudiant(e) aura pour mission de développer un pipeline de vision par ordinateur visant à reconstruire en 3D l’environnement réel à partir d’une captation vidéo issue d’une seule caméra. L’étudiant(e) devra s’approprier diverses techniques existantes, en particulier les approches de « Multi-View Stereo » (MVS). En effet, les approches MVS visent à partir d’un ensemble d’images dont on connait la position et l’orientation à reconstruire un nuage de point dense de l’environnement réel. Or, des avancées récentes s’appuyant sur des approches de deep learning ont permis de grandement améliorer la qualité de la reconstruction 3D tout en réduisant les temps de calcul [PatchMatchNet], [MVS2D]. Les développements seront réalisés en s’appuyant sur le framework open source SolAR développé par l’IRT b<>com, et consisteront à mettre en œuvre un pipeline MVS s’appuyant sur ces derniers travaux de recherche. Les développements feront l’objet d’itérations en équipe, afin de réaliser une solution répondant aux besoins de l’industrie. L’étudiant devra faire preuve d’initiative et d’autonomie.

[PatchMatchNet] F. Wang, S. Galliani, C. Vogel, P. Spciale, M. Pollefeys, “PatchmatchNet: Learned Multi-View Patchmatch Stereo”, CVPR 2021
[MVS2D] Z. Yang, Z. Ren, Q. Qhan, Q. Huang, “MVS2D: Efficient Multi-view Stereo via Attention-Driven 2D Convolutions”, CVPR 2022

Profil recherché

En dernière année d’école d’ingénieur ou de Master en Informatique, l’étudiant(e) aura acquis des bases solides en développement logiciel, en vision par ordinateur, et des connaissances dans le domaine de la Réalité Augmentée. Des connaissances dans le domaine de la reconstruction 3D et du SLAM seront également très appréciées.

Intérêt pour le candidat

  • Réelle intégration au sein d’équipes pluridisciplinaires
  • Secteur de la recherche et de l’innovation
  • Acquisition de compétences extrêmement recherchée sur des domaines très dynamiques (vision par ordinateur, réalité augmentée)
  • Mission combinant un haut niveau scientifique et des applications industrielles concrètes.
  • Accès à une ferme de GPU dédiée à l’apprentissage de réseaux de neurones.
    Offre de thèse à pourvoir à la fin du stage si l’étudiant(e) démontre de bonnes qualités scientifiques

Modalités

  • Localisation : Rennes
  • Date de démarrage : 1er trimestre 2023
  • Durée : 6 mois