Source : NeurIPS 2024, Track Datasets and Benchmarks (arXiv:2406.15349v2, 31 oct. 2024) · pas de DOI dans le PDF · Université de Tübingen, Tübingen AI Center, OpenDriveLab (Shanghai AI Lab), NVIDIA Research, Bosch, NTU, Toronto, Vector Institute, Stanford · accès OPEN · PDF NAVSIM2024.pdf, sha256 d3bc66d321cfceccc4f4…, 14 pages Lu le : 2026-11-02. LECTURE COMPLÈTE du corps de l’article et des références (14 p.) ; les annexes (« supplementary material », citées pour les détails des métriques, des planificateurs et du challenge) ne sont pas dans le PDF et n’ont pas été lues. Les figures 3 à 5 ont été regardées sur la page rendue, sans relevé numérique des courbes. Statut summarized. Thème : simulation · évaluation de politiques de conduite (benchmark non réactif) Métadonnées vérifiées dans le PDF : titre, année (2024) et auteurs conformes ; le premier auteur est Daniel Dauner (la fiche s’intitulait « NAVSIM » sans auteurs). Pas de DOI imprimé.

Contexte et question

L’évaluation en boucle ouverte sur données réelles est facile mais mal corrélée à la conduite en boucle fermée ; la boucle fermée en simulation coûte cher et souffre d’un écart de domaine avec les capteurs réels (résumé). Les auteurs cherchent un compromis : un benchmark à grande échelle sur données réelles, avec des métriques issues de simulation plutôt que des erreurs de déplacement (ADE).

Méthode

• Tâche : l’agent reçoit les capteurs passés (caméras, LiDAR) et l’« ego status » (vitesse, accélération, objectif de navigation en vecteur one-hot gauche/droite/tout droit) et planifie une trajectoire sur h = 4 s (§3).
• Simulation non réactive : l’agent n’est interrogé qu’à la première image de la scène, la trajectoire reste fixe, sans retour de l’environnement. Un contrôleur LQR et un modèle cinématique de type bicyclette propagent le véhicule à 10 Hz sur 4 s, dans une abstraction vue du dessus (BEV) de la scène (§1, §3).
• PDM Score (éq. 1, §3) : produit de pénalités (collision sans faute NC, respect de la zone roulable DAC ; 0 si infraction, 0,5 pour une collision avec un objet statique) par une moyenne pondérée de progression (EP), temps avant collision (TTC) et confort (C), de poids 5, 5 et 2. Le progrès est normalisé par une borne issue du planificateur PDM-Closed.
• Filtrage des scènes (§3.1) : on écarte celles où une vitesse constante dépasse un PDMS de 0,8, et celles où la trajectoire humaine fait moins de 0,8 (annotations bruitées).

Données

• OpenScene, redistribution de nuPlan : 120 h à 2 Hz, de plus de 20 To à 2 To ; huit caméras 1920 × 1080, LiDAR fusionné de cinq capteurs (§3.1).
• Découpes navtrain (103 k échantillons) et navtest (12 k), 450 Go ; navmini (396 scénarios) pour l’étude d’alignement avec la boucle fermée de nuPlan (§3.1, §4.1).
• Challenge CVPR 2024 sur jeu privé : 463 soumissions de 143 équipes, dont 78 rendues publiques (§4.2).

Résultats chiffrés

Vitesse constante : PDMS 79 % avant filtrage contre 91 % pour l’humain, puis 22 % contre 95 % après filtrage (§3.1, Fig. 2a ; le texte dit 22 %, la Tab. 1 donne 20,6).

Alignement boucle ouverte / boucle fermée (§4.1, Fig. 3-4) : 37 planificateurs à base de règles et 114 planificateurs appris ; le PDMS est mieux corrélé au score de boucle fermée (CLS) que le score de boucle ouverte nuPlan (OLS), en Spearman comme en Pearson, y compris par type de planificateur (Fig. 4).

Navtest (Tab. 1, p. 7), en % :

• Entraînement : 80 GPU pendant 3 jours pour PARA-Drive contre 1 GPU pendant 1 jour pour TransFuser (§4.2).
• Trois graines de TransFuser : écart-type de ± 0,56 PDMS ; l’évaluation est déterministe (§4.2, Tab. 2 A1-A3 : 83,3 / 84,0 / 84,4).
• Ablations (Tab. 2, p. 8) : sans vitesse ni accélération 81,8 (B1) ; sans accélération 82,3 (B2) ; une caméra à 60° 80,3 (C1) ; portée LiDAR 16 m partout 79,1 (D1), pire que sans LiDAR (LTF, 83,8) ; sans segmentation BEV 81,6 (E1).
• Classement 1.1 (Tab. 3, p. 9) : TransFuser 83,9 ± 0,4 ; LTF 83,5 ± 0,6 ; MLP ego status 66,4 ± 0,9 ; Hydra-MDP (gagnant 2024, une graine) 91,3.
• La corrélation avec la boucle fermée augmente quand la durée du CLS passe de 15 s à 4 s et quand l’horizon PDMS passe de 2 s à 8 s ; des agents de fond réactifs changent peu (§4.1, Fig. 3b-e).

Limites déclarées par les auteurs

• Un PDMS élevé n’implique pas un CLS élevé : pas de réactivité ni d’accumulation d’erreurs (§5). Les auteurs recommandent des simulateurs graphiques comme CARLA en complément.
• Les collisions par l’arrière ne sont pas « en faute » : peu de poids pour la scène derrière le véhicule (§5).
• Pas de feux ni de stops, ni de notion de transit ou d’efficacité en carburant dans les métriques ; agrégation scalaire simple (§5).
• Limites de nuPlan : classes manquantes, erreurs mineures de paramètres caméra, bruit des poses et annotations 3D, pas d’altitude de route (§5).

Ce que ça change pour Teleforge (interprétation, hors de l’article)

• NAVSIM évalue des politiques de conduite à partir de capteurs caméra/LiDAR. Il ne simule ni signaux inertiels ni GNSS : il n’est pas une brique de notre chaîne, seulement une référence sur la façon de construire un benchmark.
• Idée transférable : un benchmark non réactif sur scènes réelles filtrées (écarter les cas triviaux qu’une extrapolation simple résout) rend les comparaisons plus discriminantes.
• Idée transférable : valider une métrique bon marché par sa corrélation de rang avec une évaluation coûteuse (ici OLS/PDMS contre CLS), plutôt que de la supposer pertinente.
• Piste : des erreurs de déplacement pénalisent des trajectoires sûres mais différentes de l’enregistrement ; à garder en tête pour nos propres métriques de trajectoire.
• À ne pas citer comme simulateur de capteurs : l’article précise que la simulation se fait en abstraction BEV, sans rendu capteur.