Source : preprint arXiv:2507.23683v1 [cs.CV], 31 juillet 2025 · pas de DOI imprimé · Yootta, Soochow University, Southeast University, University of Liverpool · accès OPEN · PDF I2VGS2025.pdf, sha256 1f548909da54e9c2…, 10 pages Lu le : 2026-11-02. LECTURE COMPLÈTE : texte intégral et tableaux 1 à 3 ; figures non analysées en détail. L’annexe citée au §4.1 (« see appendix ») n’est pas dans le PDF. Statut summarized. Thème : simulation · synthèse de vues nouvelles à partir de caméras d’infrastructure Métadonnées vérifiées dans le PDF : titre, auteurs et année conformes à la page 1. Pas de DOI imprimé. Les affiliations sont données par numéro (1 Yootta, 2 Soochow University, 3 Southeast University, 4 University of Liverpool) ; leur rattachement à chaque auteur n’est pas lisible dans le texte extrait.

Contexte et question

Les systèmes de conduite de bout en bout demandent beaucoup de données, que les flottes dédiées ou de production fournissent à coût élevé ou avec des problèmes de confidentialité (§1). Les auteurs proposent de partir de caméras d’infrastructure, qui filment en continu, et de rendre des vues depuis un véhicule. La difficulté est double : peu de points de vue fixes, et un changement de point de vue important. Les méthodes de reconstruction de scènes de conduite existantes s’appuient sur le mouvement du véhicule pour obtenir plusieurs vues, ce qui ne s’applique pas ici (§1).

Méthode

I2V-GS repose sur le 3D Gaussian Splatting (3DGS), échauffé sur les vues d’entrée puis alimenté en vues pseudo générées (Fig. 2, §4) :

• Calibrage de la profondeur monoculaire sur le LiDAR (§4.2) : la disparité monoculaire est convertie par une forme généralisée D = c1/(d + c2) + c3 (éq. 11) ; c1, c2, c3 sont ajustés par moindres carrés non linéaires avec une perte de Huber sur les pixels où le LiDAR est non nul (éq. 12). Le modèle monoculaire est Depth-Anything [33] (§5.2).
• Déformation en profondeur adaptative (§4.1) : les points 3D sont projetés vers une vue cible par déformation avant (éq. 5-6). Les auteurs contraignent le déplacement en pixels à rester sous un seuil ε (éq. 8) ; avec Δtz = 0 et z = zmin, cela borne les translations Δtx ≤ ε·zmin/fx et Δty ≤ ε·zmin/fy (éq. 9).
• Stratégie en cascade (§4.3, Alg. 1) : chaque vue pseudo Vj est générée à partir de la précédente Vj-1. Les trous d’occlusion de l’image déformée sont comblés par un modèle de diffusion latente [19] (image et masque encodés dans l’espace latent).
• Optimisation guidée par la confiance (§4.4) : un poids W = λ1·(1 − L2(Î′, I′)) + (1 − λ1)·SSIM(Î′, I′) compare la vue inpaintée à la vue rendue (éq. 13) ; la perte Lcon = E[W · |Î′ − I′|] (éq. 14) s’applique aux vues pseudo, la perte 3DGS d’origine aux vues d’entrée, L = Lori + Lcon (éq. 15).
• Entraînement : 60 000 itérations (Adam), échauffement de 3 000 itérations, puis génération de vues pseudo toutes les 3 000 itérations pendant trois cycles (§5.2).

Données

RoadSight, introduit par l’article (§5.1) : jeu multimodal et multi-vues d’infrastructure.

• Capteurs fixés sur des feux tricolores, synchronisés matériellement par signal GPS-PPS : LiDAR à état solide (10 Hz, portée 500 m, précision ±5 cm), LiDAR d’angle mort (10 Hz, 360°, portée 30 m, ±3 cm), caméra 1920×1080 à 25 Hz, champ horizontal 89° (Tab. 1, p. 6).
• Caméra inclinée vers le bas d’environ 3 degrés, réglée à la main sur le centre de la route ; module d’étalonnage extrinsèque en ligne (§5.1).
• 4 carrefours urbains de la zone de démonstration de conduite autonome de Suzhou ; heures de pointe 40 %, creuses 60 % ; jour 70 %, nuit 30 % ; 50 scènes de 20 s retenues à la main, échantillonnées à 10 Hz et synchronisées avec les scans LiDAR (§5.1).
• Visages et plaques anonymisés ; collecte sur voie publique avec autorisation gouvernementale (§5.1).

Évaluation (§5.2) : 4 scènes RoadSight, et 10 séquences Waymo (vidéos et nuages de points LiDAR). Les méthodes 3DGS sont entraînées sur la première image, les méthodes 4DGS sur les 10 premières. Métriques : NTA-IoU et NTL-IoU (détection de véhicules et de voies sur les trajectoires nouvelles, comparées à la vérité terrain après projection, d’après [37]) et FID.

Résultats chiffrés

Tab. 2, p. 7, valeurs telles qu’imprimées :

• RoadSight, face à StreetGaussian : +45,7 % NTA-IoU, +34,2 % NTL-IoU, +14,9 % FID (§5.3) — « outperforming StreetGaussian in NTA-Iou, NTL-Iou, and FID by 45.7%, 34.2%, and 14.9% » (résumé, p. 1).
• Waymo, face à StreetGaussian : +29,7 % NTA-IoU, +4,2 % NTL-IoU, -33,3 % de FID — « 29.7% NTA-Iou improvement, 4.2% NTL-Iou improvement, and 33.3% reduction FID » (§5.3, p. 6).
• Ablation sur RoadSight (Tab. 3, p. 8), NTA-IoU / NTL-IoU : sans profondeur monoculaire calée LiDAR 0,513 / 43,86 ; sans déformation adaptative 0,682 / 74,41 ; sans cascade 0,786 / 83,49 ; sans guidage par la confiance 0,783 / 81,57 ; modèle complet 0,804 / 84,62.
• Les gains relatifs de FID de l’article correspondent à la baisse du FID imprimé dans Tab. 2 (197,35 contre 231,84 ; 73,54 contre 110,37).
• Jeu et protocole : « RoadSight covers recordings from 4 urban intersections » ; « we manually select 50 representative scenes, each lasting 20 seconds » (§5.1, p. 6) ; « Our model is trained for 60,000 iterations with the Adam optimizer » (§5.2, p. 6).

Limites déclarées par les auteurs

La conclusion (§6) ne contient pas de section de limites. L’article n’en énonce pas explicitement ; il note seulement que la déformation avec déplacement fixe provoque sur-déformation ou sous-déformation (§4.1) et que la déformation classique accumule des trous d’occlusion pour les grands changements de point de vue (§4.3). L’évaluation porte sur 4 scènes RoadSight et 10 séquences Waymo (§5.2).

Ce que ça change pour Teleforge (interprétation, hors de l’article)

• Le papier traite la synthèse d’images pour l’entraînement de conduite de bout en bout, pas la dynamique du véhicule : pertinence indirecte, en périphérie de la simulation inertielle et GNSS.
• Le calage d’une profondeur monoculaire sur des points LiDAR épars (éq. 11-12) est un procédé réutilisable tel quel pour tout capteur fournissant une vérité terrain éparse.
• Les gains sont mesurés sur peu de scènes et en vue très éloignée de la vue d’entrée ; à ne pas lire comme une garantie de réalisme physique des trajectoires.
• RoadSight est décrit mais, dans le PDF lu, aucune mise à disposition n’est indiquée : à vérifier avant tout usage.
• L’article ne traite que de scènes vues d’une caméra fixe ; le comportement avec un trafic dense dynamique n’y est pas évalué (hors de ce que le PDF montre).