Вырезание и удаление фона
Чисто вырезать объект из фона
Полный текст статьи представлен на английском; заголовок и аннотация локализованы.
ЧТО ЭТО ЗА ВОЗМОЖНОСТЬ
Takes an image, sometimes with a hint point or box naming the subject, and outputs an image with an alpha channel — foreground kept, background transparent. Unlike segmentation it outputs a soft alpha matte rather than a hard class mask, and the semi-transparent transition at the edges is exactly what it must get right.
Как это устроено
A segmentation network first proposes the subject region, then a dedicated matting model estimates per-pixel opacity and foreground colour in the boundary band. Training data comes from compositing known subjects onto random backgrounds plus finely annotated alpha ground truth. Promptable segmentation models have made one-click cutouts easy, and video matting adds a requirement for temporal consistency across frames.
Примеры продуктов
4Firefly
2023Инструмент генерации и редактирования изображений для авторов
Stable Diffusion
2022Открыла веса генерации изображений и сделала их посильными для потребительских видеокарт
SenseAvatar
2022Создаёт видео цифрового человека с синхронизацией губ из портрета и дорожки голоса
Diffusers
2022Единая реализация и планировщик для диффузионных моделей
Связанные организации
Типичное применение
- Re-backgrounding and layout of product photos
- ID-photo and portrait cutouts
- Virtual backgrounds for short video and live streaming
- Asset extraction for design and compositing
Как её оценивают
- IoU
- Intersection over union of the foreground region
- SAD / MSE
- Absolute or squared error of the alpha channel against truth
- Gradient error
- Whether edge transitions look like a real matte
Границы и трудности
- Hair, fur and mesh produce ragged or grey fringes instead of clean semi-transparent edges
- When subject and background colours are close, or the background is busy, the boundary decision fails
- Frame-by-frame video matting flickers at the edges and needs extra temporal handling
Концепции в основе
Семантическая сегментация
Раскрасить каждый пиксель: не рамка вокруг объекта, а раскраска
Цифровое представление изображения
Для машины фотография — лишь набор наложенных сеток чисел
Свёрточные нейронные сети
Замена полных связей на «смотреть локально и переиспользовать один и тот же фильтр везде» — идея, сделавшая распознавание изображений рабочим