Edición de imagen e inpaint
Cambiar una zona de la imagen con una instrucción
El texto completo se presenta en inglés; el título y el resumen están traducidos.
QUÉ SIGNIFICA ESTA CAPACIDAD
Takes the original image, a written instruction and usually a mask marking the region to change, and outputs the modified image. Unlike image-to-image it has an explicit, local edit intent and should leave unspecified areas untouched; unlike text-to-image it does not generate from scratch but operates surgically on an existing picture.
Cómo se consigue técnicamente
The base method is inpainting: noise is added and removed only inside the mask while the rest reuses the original latents, with the instruction injected through cross-attention or an adapter. More careful schemes add a reference image and an identity-preservation branch so the edited person keeps the same face; another route hands instruction and image to a multimodal model that predicts the edited latents directly.
Productos representativos
5Firefly
2023Una herramienta de generación y edición de imágenes para creadores
Stable Diffusion
2022Liberó los pesos de texto a imagen y los hizo caber en GPU de consumo
FLUX
2024Genera imágenes de alta resolución con un transformer de flujo rectificado
DALL·E 3
2023Reescribe un prompt largo en una descripción detallada y luego dibuja la imagen
Seedream
2024Un modelo texto a imagen de alta resolución nativa y buen renderizado de texto
Organizaciones relacionadas
Usos típicos
- Removing clutter and swapping backgrounds in product photos
- Portrait retouching and restyling
- Swapping assets in ads and posters
- Restoring old photos and filling missing parts
Cómo se evalúa
- Edit-direction consistency
- Whether the CLIP-space shift matches the instruction direction
- FID
- Distribution gap to real images, guarding against degrading realism
- Human rating
- Ratings for instruction completion and preservation
Límites y dificultades
- Boundary, lighting and noise in the repainted area often mismatch the surroundings and need several passes
- Multi-part requests — new outfit, new background, new expression — usually complete only some of them
- Large edits drift the identity, so the face stops resembling the original person
Conceptos detrás
Difusión latente y control condicional
Hacer difusión no sobre píxeles, sino dentro de un espacio semántico comprimido
Modelos de difusión
Aprende mil pequeños pasos de eliminación de ruido y podrás crear una imagen desde ruido puro
Generación multimodal
Un mismo modelo que aprende a hablar, dibujar, moverse e incluso modelar el mundo 3D