الصورة إلى ثلاثي الأبعاد وإعادة البناء
استعادة البنية الثلاثية من صورة أو عدة صور
يُعرض النص الكامل باللغة الإنجليزية؛ وقد تمت ترجمة العنوان والملخص.
ما الذي تعنيه هذه القدرة
Takes one or several images and outputs a 3D representation — mesh, point cloud, depth map or renderable radiance field. With multiple views the geometry is constrained jointly by the parallax across photos and is more trustworthy; with a single image, unobserved parts can only be inferred from priors. Unlike text-to-3D both geometry and appearance are anchored by the input images.
كيف تُنفَّذ تقنيًا
The multi-view route estimates camera poses, triangulates, and refines dense depth and surfaces; neural radiance fields encode the scene as a differentiable volumetric field aligned to input views by differentiable rendering, and 3D Gaussian splatting represents it as oriented translucent ellipsoids that render faster. Single-image routes rely on priors learned from large 3D datasets, or on score distillation from a 2D diffusion prior.
منتجات تمثيلية
3Stable Video 3D
2024يعيد بناء مشاهد متعددة وأبعاد ثلاثية لجسم من صورة واحدة
Genie
2023يولّد نماذج ثلاثية الأبعاد بنسيج من النص خلال ثوانٍ
Stable Video Diffusion
2023يحوّل صورة ثابتة واحدة إلى فيديو قصير بنموذج انتشار
المؤسسات ذات الصلة
الاستخدامات الشائعة
- Digital archiving of artefacts and buildings
- Spatial perception for robots and driving
- Turning product photos into 3D displays
- Digital twins of real locations for film and games
كيف يُقاس مدى جودتها
- Chamfer distance
- Mean point distance between reconstructed and true surfaces
- F-score
- Balance of precision and recall within a distance threshold
- Novel-view PSNR / SSIM
- How close renderings from unseen views come to real photos
الحدود والصعوبات
- Single-image reconstruction guesses entirely in unseen regions, and back surfaces appear invented once you rotate
- Reflective, transparent and textureless surfaces are hard to match, and reconstruction fails broadly there
- Output scale and metrics are inaccurate, so it cannot feed manufacturing or engineering measurement directly
المفاهيم الكامنة وراءها
التمثيل الرقمي للصورة
الصورة بالنسبة للآلة ليست سوى شبكات من الأرقام متراكبة
نماذج الانتشار
تعلّم ألف خطوة صغيرة لإزالة الضوضاء، فتستطيع بناء صورة من ضوضاء صافية
التوليد متعدد الوسائط
نموذج واحد يتعلّم الكلام والرسم والحركة، بل ونمذجة العالم ثلاثي الأبعاد