Текст в 3D
Превратить фразу в трёхмерную модель
Полный текст статьи представлен на английском; заголовок и аннотация локализованы.
ЧТО ЭТО ЗА ВОЗМОЖНОСТЬ
Takes a text description and outputs a 3D asset: a mesh, a textured model or a renderable 3D representation. The output is neither an image nor a video but geometry that can be viewed from any angle and placed in a scene. Unlike image-to-3D it has no reference image at all, and unlike text-to-image its output carries a genuine third dimension.
Как это устроено
One route uses 2D generative models as supervision: a 2D diffusion model scores renderings from many viewpoints and that score optimises a 3D representation such as a neural radiance field or a Gaussian splat — score distillation. Another route trains a generator directly on large 3D datasets and emits mesh and texture in one or several steps. Output meshes often need retopology and decimation before entering standard rendering or game pipelines.
Примеры продуктов
2Связанные организации
Типичное применение
- Draft props and sets for games and film
- Quick 3D showcases for products
- Turning industrial concepts into physical form
- 3D illustration for education
Как её оценивают
- CLIP similarity
- Semantic agreement between rendered views and the prompt
- Chamfer distance
- Mean surface-point distance between generated and reference meshes
- Human rating
- Ratings for shape completeness and texture quality
Границы и трудности
- Generated meshes often come out as fragmented triangles and need heavy retopology before use
- Backfaces and interiors are guessed, producing hollows and intersections when you orbit the model
- Material, lighting and geometry are not properly separated, so the look breaks when exported to another engine
Концепции в основе
Диффузионные модели
Научитесь тысяче мелких шагов удаления шума — и соберёте изображение из чистого шума
Мультимодальная генерация
Одна модель учится говорить, рисовать, двигаться — и даже моделировать трёхмерный мир
Диффузия в латентном пространстве и условное управление
Проводить диффузию не по пикселям, а внутри сжатого смыслового пространства