Imagen a 3D y reconstrucción
Recuperar la estructura 3D de una o varias fotos
El texto completo se presenta en inglés; el título y el resumen están traducidos.
QUÉ SIGNIFICA ESTA CAPACIDAD
Takes one or several images and outputs a 3D representation — mesh, point cloud, depth map or renderable radiance field. With multiple views the geometry is constrained jointly by the parallax across photos and is more trustworthy; with a single image, unobserved parts can only be inferred from priors. Unlike text-to-3D both geometry and appearance are anchored by the input images.
Cómo se consigue técnicamente
The multi-view route estimates camera poses, triangulates, and refines dense depth and surfaces; neural radiance fields encode the scene as a differentiable volumetric field aligned to input views by differentiable rendering, and 3D Gaussian splatting represents it as oriented translucent ellipsoids that render faster. Single-image routes rely on priors learned from large 3D datasets, or on score distillation from a 2D diffusion prior.
Productos representativos
3Stable Video 3D
2024Reconstruye vistas múltiples y la forma 3D de un objeto desde una sola imagen
Genie
2023Genera modelos 3D con textura a partir de texto en segundos
Stable Video Diffusion
2023Convierte una imagen fija en un vídeo corto con un modelo de difusión
Organizaciones relacionadas
Usos típicos
- Digital archiving of artefacts and buildings
- Spatial perception for robots and driving
- Turning product photos into 3D displays
- Digital twins of real locations for film and games
Cómo se evalúa
- Chamfer distance
- Mean point distance between reconstructed and true surfaces
- F-score
- Balance of precision and recall within a distance threshold
- Novel-view PSNR / SSIM
- How close renderings from unseen views come to real photos
Límites y dificultades
- Single-image reconstruction guesses entirely in unseen regions, and back surfaces appear invented once you rotate
- Reflective, transparent and textureless surfaces are hard to match, and reconstruction fails broadly there
- Output scale and metrics are inaccurate, so it cannot feed manufacturing or engineering measurement directly
Conceptos detrás
Representación digital de imágenes
Para una máquina, una foto no es más que cuadrículas de números superpuestas
Modelos de difusión
Aprende mil pequeños pasos de eliminación de ruido y podrás crear una imagen desde ruido puro
Generación multimodal
Un mismo modelo que aprende a hablar, dibujar, moverse e incluso modelar el mundo 3D