Hình ảnh sang 3D và tái dựng
Dựng lại cấu trúc 3D từ một hoặc nhiều ảnh
Toàn văn của trang này được trình bày bằng tiếng Anh; tiêu đề và phần dẫn đã được bản địa hóa.
NĂNG LỰC NÀY NGHĨA LÀ GÌ
Takes one or several images and outputs a 3D representation — mesh, point cloud, depth map or renderable radiance field. With multiple views the geometry is constrained jointly by the parallax across photos and is more trustworthy; with a single image, unobserved parts can only be inferred from priors. Unlike text-to-3D both geometry and appearance are anchored by the input images.
Làm ra sao về mặt kỹ thuật
The multi-view route estimates camera poses, triangulates, and refines dense depth and surfaces; neural radiance fields encode the scene as a differentiable volumetric field aligned to input views by differentiable rendering, and 3D Gaussian splatting represents it as oriented translucent ellipsoids that render faster. Single-image routes rely on priors learned from large 3D datasets, or on score distillation from a 2D diffusion prior.
Sản phẩm tiêu biểu
3Stable Video 3D
2024Tái tạo nhiều góc nhìn và hình dạng 3D của vật thể từ một ảnh
Genie
2023Tạo mô hình 3D có kết cấu từ văn bản trong vài giây
Stable Video Diffusion
2023Biến một ảnh tĩnh thành video ngắn bằng mô hình khuếch tán
Tổ chức liên quan
Cách dùng tiêu biểu
- Digital archiving of artefacts and buildings
- Spatial perception for robots and driving
- Turning product photos into 3D displays
- Digital twins of real locations for film and games
Đánh giá nó tốt hay không thế nào
- Chamfer distance
- Mean point distance between reconstructed and true surfaces
- F-score
- Balance of precision and recall within a distance threshold
- Novel-view PSNR / SSIM
- How close renderings from unseen views come to real photos
Ranh giới và điểm khó
- Single-image reconstruction guesses entirely in unseen regions, and back surfaces appear invented once you rotate
- Reflective, transparent and textureless surfaces are hard to match, and reconstruction fails broadly there
- Output scale and metrics are inaccurate, so it cannot feed manufacturing or engineering measurement directly
Các khái niệm đằng sau
Biểu diễn số của ảnh
Với máy móc, một bức ảnh chỉ là các lưới số xếp chồng
Mô hình khuếch tán
Học ngàn bước khử nhiễu nhỏ, bạn tạo được ảnh từ nhiễu thuần
Sinh đa phương thức
Một mô hình học nói, vẽ, chuyển động — thậm chí mô hình hóa thế giới ba chiều