Суперразрешение и восстановление
Сделать чёткими мелкие, размытые или старые изображения
Полный текст статьи представлен на английском; заголовок и аннотация локализованы.
ЧТО ЭТО ЗА ВОЗМОЖНОСТЬ
Takes a low-resolution image or a degraded one — blurry, noisy, scratched — and outputs a higher-resolution or cleaner version. It is not mere upscaling: it fills high-frequency detail from learned image priors, and precisely because it fills, some of it is guesswork. Unlike image-to-image the goal is restoration, not stylisation.
Как это устроено
The classic route regresses high-resolution pixels with convolutional networks and leans on perceptual and adversarial losses for crisper texture, trading pixel fidelity for realism. Diffusion models were later adopted to fill detail from a generative prior, doing better on severe degradation. Because real-world degradation is complex and unknown, training often randomises the degradation so the model does not depend on one fixed downsampling.
Примеры продуктов
4Stable Diffusion
2022Открыла веса генерации изображений и сделала их посильными для потребительских видеокарт
FLUX
2024Создаёт изображения высокого разрешения с помощью трансформера rectified flow
Diffusers
2022Единая реализация и планировщик для диффузионных моделей
Firefly
2023Инструмент генерации и редактирования изображений для авторов
Связанные организации
Типичное применение
- Restoring old photos and family footage
- Detail enhancement for surveillance and satellite imagery
- Sharpening medical and microscopy images
- Upscaling assets for print and publishing
Как её оценивают
- PSNR
- Peak signal-to-noise ratio, a pixel-level fidelity measure
- SSIM
- Structural similarity, closer to human judgement than PSNR
- LPIPS
- Perceptual distance, judging naturalness of texture
Границы и трудности
- It invents texture that was never there; enlarged faces and text can become something else entirely
- High PSNR does not mean it looks good; over-smoothed outputs score well yet lack detail
- Generalisation is poor on degradation types unseen in training, such as a particular compression artefact
Концепции в основе
Цифровое представление изображения
Для машины фотография — лишь набор наложенных сеток чисел
Свёрточные нейронные сети
Замена полных связей на «смотреть локально и переиспользовать один и тот же фильтр везде» — идея, сделавшая распознавание изображений рабочим
Генеративно-состязательные сети
Фальшивомонетчик против эксперта: каждый доводит другого до предела