Détourage et suppression d’arrière-plan
Détourer proprement le sujet de son arrière-plan
Le texte intégral est présenté en anglais ; le titre et le résumé sont localisés.
CE QUE DÉSIGNE CETTE CAPACITÉ
Takes an image, sometimes with a hint point or box naming the subject, and outputs an image with an alpha channel — foreground kept, background transparent. Unlike segmentation it outputs a soft alpha matte rather than a hard class mask, and the semi-transparent transition at the edges is exactly what it must get right.
Comment c'est fait
A segmentation network first proposes the subject region, then a dedicated matting model estimates per-pixel opacity and foreground colour in the boundary band. Training data comes from compositing known subjects onto random backgrounds plus finely annotated alpha ground truth. Promptable segmentation models have made one-click cutouts easy, and video matting adds a requirement for temporal consistency across frames.
Produits représentatifs
4Firefly
2023Un outil de génération et d’édition d’images pour les créateurs
Stable Diffusion
2022A libéré les poids texte-image et les a rendus exécutables sur des GPU grand public
SenseAvatar
2022Génère une vidéo d’humain numérique synchronisée sur les lèvres à partir d’un portrait et d’une piste vocale
Diffusers
2022Implémentation et planificateur unifiés des modèles de diffusion
Organisations concernées
Usages typiques
- Re-backgrounding and layout of product photos
- ID-photo and portrait cutouts
- Virtual backgrounds for short video and live streaming
- Asset extraction for design and compositing
Comment on l'évalue
- IoU
- Intersection over union of the foreground region
- SAD / MSE
- Absolute or squared error of the alpha channel against truth
- Gradient error
- Whether edge transitions look like a real matte
Limites et points difficiles
- Hair, fur and mesh produce ragged or grey fringes instead of clean semi-transparent edges
- When subject and background colours are close, or the background is busy, the boundary decision fails
- Frame-by-frame video matting flickers at the edges and needs extra temporal handling
Concepts sous-jacents
Segmentation sémantique
Colorier chaque pixel : non pas un cadre, mais un livre à colorier
Représentation numérique de l’image
Pour une machine, une photo n’est qu’une pile de grilles de nombres
Réseaux de neurones convolutifs
Remplacer les connexions denses par « regarder localement et réutiliser le même filtre partout » : l’idée qui a rendu la reconnaissance d’images enfin fonctionnelle