Edição de imagem e inpainting
Alterar um ponto da imagem com uma instrução escrita
O texto completo é apresentado em inglês; o título e o resumo estão traduzidos.
O QUE ESTA CAPACIDADE SIGNIFICA
Takes the original image, a written instruction and usually a mask marking the region to change, and outputs the modified image. Unlike image-to-image it has an explicit, local edit intent and should leave unspecified areas untouched; unlike text-to-image it does not generate from scratch but operates surgically on an existing picture.
Como é feita tecnicamente
The base method is inpainting: noise is added and removed only inside the mask while the rest reuses the original latents, with the instruction injected through cross-attention or an adapter. More careful schemes add a reference image and an identity-preservation branch so the edited person keeps the same face; another route hands instruction and image to a multimodal model that predicts the edited latents directly.
Produtos representativos
5Firefly
2023Uma ferramenta de geração e edição de imagens para criadores
Stable Diffusion
2022Abriu os pesos de texto para imagem e os tornou executáveis em GPUs de consumo
FLUX
2024Gera imagens de alta resolução com um transformer de fluxo retificado
DALL·E 3
2023Reescreve um prompt longo em descrição detalhada e depois desenha a imagem
Seedream
2024Um modelo texto para imagem de alta resolução nativa e bom render de texto
Organizações relacionadas
Usos típicos
- Removing clutter and swapping backgrounds in product photos
- Portrait retouching and restyling
- Swapping assets in ads and posters
- Restoring old photos and filling missing parts
Como avaliar se funciona bem
- Edit-direction consistency
- Whether the CLIP-space shift matches the instruction direction
- FID
- Distribution gap to real images, guarding against degrading realism
- Human rating
- Ratings for instruction completion and preservation
Limites e dificuldades
- Boundary, lighting and noise in the repainted area often mismatch the surroundings and need several passes
- Multi-part requests — new outfit, new background, new expression — usually complete only some of them
- Large edits drift the identity, so the face stops resembling the original person
Conceitos por trás
Difusão latente e controle condicional
Fazer difusão não sobre pixels, mas dentro de um espaço semântico comprimido
Modelos de difusão
Aprenda mil pequenos passos de remoção de ruído e criará uma imagem a partir de ruído puro
Geração multimodal
Um único modelo que aprende a falar, desenhar, mover-se e até modelar o mundo 3D