Localisation Visuelle 6-DoF sans GNSS dans une Carte 3D Géospatiale

Localisation Visuelle 6-DoF sans GNSS dans une Carte 3D Géospatiale : étude du rendu de la carte et de l'appariement image–carte pour l'estimation précise de la pose

Quel sera votre environnement ?
Au sein du laboratoire Image & Vision, vous rejoindrez l'équipe en charge de la localisation visuelle. Le stage prépare une thèse sur le positionnement visuel sans GNSS : estimer la pose 6-DoF d'une caméra au sol (véhicule, robot, piéton) en appariant son image à une carte 3D géospatiale construite automatiquement à partir de données aériennes ouvertes (nuage de points LiDAR, orthophotographies, modèle de terrain, réseau des voies), y compris sur les pistes rurales et forestières où le GNSS est dégradé. Le cas d'étude est le territoire français, couvert par les données géospatiales (LiDAR HD, BD ORTHO, RGE ALTI, BD TOPO). Une première preuve de concept est déjà opérationnelle : carte 3D, moteur de rendu et chaîne rendu → appariement dense → PnP. Elle montre que les apparieurs actuels ne trouvent pas de correspondances justes entre une photo prise au sol et un rendu de la carte, fait de données aériennes. Vous vous concentrerez sur ce verrou, dans un cadre volontairement restreint (pose approximative connue à quelques dizaines de mètres près) : que rendre à partir de la carte, et avec quel apparieur, pour retrouver une pose précise ?

Vous collaborerez étroitement avec l'équipe encadrant la thèse, et disposerez de la chaîne existante, de séquences d'images géolocalisées publiques, des données géospatiales dans un environnement GPU.

Quelle sera votre mission ?
•    Prendre en main la chaîne existante (construction de la carte 3D à partir des données géospatiales, moteur de rendu, appariement dense, PnP + RANSAC) et les données géospatiales.
•    Constituer un jeu d'évaluation de référence sur 3 à 5 séquences rurales (prairie, lisière, forêt) : poses de référence obtenues par reconstruction SfM de chaque séquence  recalée sur le nuage LiDAR de la carte, avec contrôle de qualité.
•    Étendre le moteur de rendu à plusieurs modalités : couleur de l'orthophotographie, intensité LiDAR, profondeur et normales, classes sémantiques, masque de fiabilité des surfaces mal échantillonnées par le LiDAR.
•    Évaluer de façon systématique des apparieurs de l'état de l'art (RoMa, MASt3R, SuperPoint + LightGlue, LoFTR) pour chaque modalité de rendu et chaque niveau d'incertitude de la pose initiale (5, 10, 20 m) : taux de localisation à 1 m / 5° et à 5 m / 10°, analyse des échecs par type de paysage.
•    Adapter le meilleur apparieur aux paires photo–rendu (affinage sur les poses de référence) et mesurer le gain par rapport à la version pré-entraînée.
•    Documenter les développements et les résultats dans un rapport de stage, avec code versionné reproductible, jeu d'évaluation documenté et soutenance.

Quel profil ?
Élève ingénieur en dernière année ou étudiant en Master 2 (BAC+5), spécialisé en vision par ordinateur, robotique et/ou Deep Learning appliqué à la vision, avec un intérêt pour la vision 3D et les données géospatiales.

>    Les indispensables 

Compétences en vision par ordinateur : modèle caméra, géométrie multi-vues, PnP / RANSAC.
Expérience en Python (NumPy, OpenCV, PyTorch).
Compétences en méthodologie scientifique expérimentale : ablations, reproductibilité, métriques quantitatives.

>    Les plus

Expérience avec des apparieurs appris (LoFTR, RoMa, LightGlue) ou la localisation visuelle (hloc).
Expérience en SfM (COLMAP) et en recalage de nuages de points (ICP, Open3D).
Connaissance des données géospatiales : LiDAR aérien, orthophotographies, SIG (QGIS, PDAL, laspy).
Expérience avec le travail sur environnement GPU conteneurisé (CUDA, Docker).

Quelles modalités ?
Possibilité de télétravail après une période d’intégration
Gratification : 1100€ (si niveau M2 ou 5ème année) + tickets restaurants + remboursement frais de transport
Salle de sport et cours coachés

Les prochaines étapes ?
2 entretiens :
#    1 entretien en visio avec l’encadrant
#    1 entretien final sur site avec l’encadrant

Pour en savoir plus : https://b-com.com/nous-rejoindre#nos-offres-demploi