Recorte y eliminación de fondo
Recortar el sujeto limpiamente de su fondo
El texto completo se presenta en inglés; el título y el resumen están traducidos.
QUÉ SIGNIFICA ESTA CAPACIDAD
Takes an image, sometimes with a hint point or box naming the subject, and outputs an image with an alpha channel — foreground kept, background transparent. Unlike segmentation it outputs a soft alpha matte rather than a hard class mask, and the semi-transparent transition at the edges is exactly what it must get right.
Cómo se consigue técnicamente
A segmentation network first proposes the subject region, then a dedicated matting model estimates per-pixel opacity and foreground colour in the boundary band. Training data comes from compositing known subjects onto random backgrounds plus finely annotated alpha ground truth. Promptable segmentation models have made one-click cutouts easy, and video matting adds a requirement for temporal consistency across frames.
Productos representativos
4Firefly
2023Una herramienta de generación y edición de imágenes para creadores
Stable Diffusion
2022Liberó los pesos de texto a imagen y los hizo caber en GPU de consumo
SenseAvatar
2022Genera vídeo de humano digital con sincronía labial desde un retrato y una pista de voz
Diffusers
2022Implementación y planificador unificados para modelos de difusión
Organizaciones relacionadas
Usos típicos
- Re-backgrounding and layout of product photos
- ID-photo and portrait cutouts
- Virtual backgrounds for short video and live streaming
- Asset extraction for design and compositing
Cómo se evalúa
- IoU
- Intersection over union of the foreground region
- SAD / MSE
- Absolute or squared error of the alpha channel against truth
- Gradient error
- Whether edge transitions look like a real matte
Límites y dificultades
- Hair, fur and mesh produce ragged or grey fringes instead of clean semi-transparent edges
- When subject and background colours are close, or the background is busy, the boundary decision fails
- Frame-by-frame video matting flickers at the edges and needs extra temporal handling
Conceptos detrás
Segmentación semántica
Colorear cada píxel: no un recuadro, sino un libro para colorear
Representación digital de imágenes
Para una máquina, una foto no es más que cuadrículas de números superpuestas
Redes neuronales convolucionales
Sustituir las conexiones completas por “mirar en local y reutilizar la misma regla en todas partes”: la idea que hizo funcionar el reconocimiento de imágenes