Chỉnh sửa ảnh và vẽ bù vùng khuyết
Thay đổi một vùng trong ảnh bằng chỉ dẫn
Toàn văn của trang này được trình bày bằng tiếng Anh; tiêu đề và phần dẫn đã được bản địa hóa.
NĂNG LỰC NÀY NGHĨA LÀ GÌ
Takes the original image, a written instruction and usually a mask marking the region to change, and outputs the modified image. Unlike image-to-image it has an explicit, local edit intent and should leave unspecified areas untouched; unlike text-to-image it does not generate from scratch but operates surgically on an existing picture.
Làm ra sao về mặt kỹ thuật
The base method is inpainting: noise is added and removed only inside the mask while the rest reuses the original latents, with the instruction injected through cross-attention or an adapter. More careful schemes add a reference image and an identity-preservation branch so the edited person keeps the same face; another route hands instruction and image to a multimodal model that predicts the edited latents directly.
Sản phẩm tiêu biểu
5Firefly
2023Công cụ tạo và chỉnh sửa ảnh cho người sáng tạo
Stable Diffusion
2022Mở công khai trọng số tạo ảnh từ văn bản, đủ nhẹ để chạy trên GPU phổ thông
FLUX
2024Tạo ảnh độ phân giải cao bằng transformer luồng chỉnh lưu
DALL·E 3
2023Viết lại câu lệnh dài thành mô tả chi tiết rồi vẽ hình ảnh
Seedream
2024Mô hình văn bản thành ảnh có độ phân giải cao gốc và hiển thị chữ tốt
Tổ chức liên quan
Cách dùng tiêu biểu
- Removing clutter and swapping backgrounds in product photos
- Portrait retouching and restyling
- Swapping assets in ads and posters
- Restoring old photos and filling missing parts
Đánh giá nó tốt hay không thế nào
- Edit-direction consistency
- Whether the CLIP-space shift matches the instruction direction
- FID
- Distribution gap to real images, guarding against degrading realism
- Human rating
- Ratings for instruction completion and preservation
Ranh giới và điểm khó
- Boundary, lighting and noise in the repainted area often mismatch the surroundings and need several passes
- Multi-part requests — new outfit, new background, new expression — usually complete only some of them
- Large edits drift the identity, so the face stops resembling the original person
Các khái niệm đằng sau
Khuếch tán trong không gian ẩn và điều khiển có điều kiện
Khuếch tán không trên điểm ảnh, mà trong một không gian ngữ nghĩa đã nén
Mô hình khuếch tán
Học ngàn bước khử nhiễu nhỏ, bạn tạo được ảnh từ nhiễu thuần
Sinh đa phương thức
Một mô hình học nói, vẽ, chuyển động — thậm chí mô hình hóa thế giới ba chiều