Recorte e remoção de fundo
Recortar o sujeito limpo do fundo
O texto completo é apresentado em inglês; o título e o resumo estão traduzidos.
O QUE ESTA CAPACIDADE SIGNIFICA
Takes an image, sometimes with a hint point or box naming the subject, and outputs an image with an alpha channel — foreground kept, background transparent. Unlike segmentation it outputs a soft alpha matte rather than a hard class mask, and the semi-transparent transition at the edges is exactly what it must get right.
Como é feita tecnicamente
A segmentation network first proposes the subject region, then a dedicated matting model estimates per-pixel opacity and foreground colour in the boundary band. Training data comes from compositing known subjects onto random backgrounds plus finely annotated alpha ground truth. Promptable segmentation models have made one-click cutouts easy, and video matting adds a requirement for temporal consistency across frames.
Produtos representativos
4Firefly
2023Uma ferramenta de geração e edição de imagens para criadores
Stable Diffusion
2022Abriu os pesos de texto para imagem e os tornou executáveis em GPUs de consumo
SenseAvatar
2022Gera vídeo de humano digital com sincronia labial a partir de um retrato e uma faixa de voz
Diffusers
2022Implementação e agendador unificados para modelos de difusão
Organizações relacionadas
Usos típicos
- Re-backgrounding and layout of product photos
- ID-photo and portrait cutouts
- Virtual backgrounds for short video and live streaming
- Asset extraction for design and compositing
Como avaliar se funciona bem
- IoU
- Intersection over union of the foreground region
- SAD / MSE
- Absolute or squared error of the alpha channel against truth
- Gradient error
- Whether edge transitions look like a real matte
Limites e dificuldades
- Hair, fur and mesh produce ragged or grey fringes instead of clean semi-transparent edges
- When subject and background colours are close, or the background is busy, the boundary decision fails
- Frame-by-frame video matting flickers at the edges and needs extra temporal handling
Conceitos por trás
Segmentação semântica
Colorir cada pixel: não uma caixa, mas um livro de colorir
Representação digital de imagens
Para uma máquina, uma foto não passa de grades de números sobrepostas
Redes neurais convolucionais
Substituir as conexões densas por “olhar localmente e reutilizar o mesmo filtro em toda parte”: a ideia que tornou o reconhecimento de imagens funcional