Image vers 3D et reconstruction
Reconstruire une structure 3D à partir d’une ou plusieurs photos
Le texte intégral est présenté en anglais ; le titre et le résumé sont localisés.
CE QUE DÉSIGNE CETTE CAPACITÉ
Takes one or several images and outputs a 3D representation — mesh, point cloud, depth map or renderable radiance field. With multiple views the geometry is constrained jointly by the parallax across photos and is more trustworthy; with a single image, unobserved parts can only be inferred from priors. Unlike text-to-3D both geometry and appearance are anchored by the input images.
Comment c'est fait
The multi-view route estimates camera poses, triangulates, and refines dense depth and surfaces; neural radiance fields encode the scene as a differentiable volumetric field aligned to input views by differentiable rendering, and 3D Gaussian splatting represents it as oriented translucent ellipsoids that render faster. Single-image routes rely on priors learned from large 3D datasets, or on score distillation from a 2D diffusion prior.
Produits représentatifs
3Stable Video 3D
2024Reconstruit les vues multiples et la forme 3D d’un objet à partir d’une seule image
Genie
2023Génère en quelques secondes des modèles 3D texturés à partir de texte
Stable Video Diffusion
2023Transforme une image fixe en courte vidéo avec un modèle de diffusion
Organisations concernées
Usages typiques
- Digital archiving of artefacts and buildings
- Spatial perception for robots and driving
- Turning product photos into 3D displays
- Digital twins of real locations for film and games
Comment on l'évalue
- Chamfer distance
- Mean point distance between reconstructed and true surfaces
- F-score
- Balance of precision and recall within a distance threshold
- Novel-view PSNR / SSIM
- How close renderings from unseen views come to real photos
Limites et points difficiles
- Single-image reconstruction guesses entirely in unseen regions, and back surfaces appear invented once you rotate
- Reflective, transparent and textureless surfaces are hard to match, and reconstruction fails broadly there
- Output scale and metrics are inaccurate, so it cannot feed manufacturing or engineering measurement directly
Concepts sous-jacents
Représentation numérique de l’image
Pour une machine, une photo n’est qu’une pile de grilles de nombres
Modèles de diffusion
Apprenez mille petits pas de débruitage et vous créerez une image à partir de bruit pur
Génération multimodale
Un seul modèle qui apprend à parler, dessiner, bouger — et même à modéliser le monde 3D