Văn bản thành hình ảnh
Biến một câu mô tả thành hình ảnh
Toàn văn của trang này được trình bày bằng tiếng Anh; tiêu đề và phần dẫn đã được bản địa hóa.
NĂNG LỰC NÀY NGHĨA LÀ GÌ
Maps a natural-language description directly to an image: text in, pixels out, with no annotation or reference image in between. Unlike image-to-image it has no input image at all, and unlike image editing it does not modify an existing picture but synthesises a new one from scratch.
Làm ra sao về mặt kỹ thuật
The dominant route is latent diffusion: the prompt is encoded into a conditioning vector, injected into a denoising network through cross-attention, denoised step by step in a compressed latent space, and decoded to pixels. Conditioning was later extended by classifier-free guidance, which amplifies prompt adherence by contrasting the conditioned and unconditioned directions. Training uses vast image–text pairs, and DALL·E 3 coupled prompt rewriting with generation in one pipeline, markedly improving adherence to long prompts.
Sản phẩm tiêu biểu
7DALL·E 3
2023Viết lại câu lệnh dài thành mô tả chi tiết rồi vẽ hình ảnh
Midjourney
2022Dịch vụ tạo ảnh từ văn bản nổi bật về phong cách thẩm mỹ
Stable Diffusion
2022Mở công khai trọng số tạo ảnh từ văn bản, đủ nhẹ để chạy trên GPU phổ thông
FLUX
2024Tạo ảnh độ phân giải cao bằng transformer luồng chỉnh lưu
Imagen
2022Tạo ảnh chân thực bằng khuếch tán theo tầng và bộ mã hóa văn bản lớn
Seedream
2024Mô hình văn bản thành ảnh có độ phân giải cao gốc và hiển thị chữ tốt
Firefly
2023Công cụ tạo và chỉnh sửa ảnh cho người sáng tạo
Tổ chức liên quan
Cách dùng tiêu biểu
- Concept design and storyboards
- Marketing assets and illustration
- Pre-visualisation for games and film
- Personalised avatars and wallpapers
Đánh giá nó tốt hay không thế nào
- FID
- Distance to the real image distribution; lower is better
- CLIP score
- Semantic agreement between image and prompt
- Human-preference Elo
- Preference ranking from pairwise comparison
Ranh giới và điểm khó
- Counting, precise spatial relations and ordering remain unreliable
- Letters inside the image are frequently garbled, especially in long strings
- Hands, limbs and object-contact points break down, often needing several resamples
Các khái niệm đằng sau
Mô hình khuếch tán
Học ngàn bước khử nhiễu nhỏ, bạn tạo được ảnh từ nhiễu thuần
Khuếch tán trong không gian ẩn và điều khiển có điều kiện
Khuếch tán không trên điểm ảnh, mà trong một không gian ngữ nghĩa đã nén
Tổng quan về mô hình sinh
Mô hình phân biệt trả lời "đây là gì"; mô hình sinh trả lời "nó nên trông như thế nào"