Обнаружение объектов
Обвести каждый объект рамкой и назвать его
Полный текст статьи представлен на английском; заголовок и аннотация локализованы.
ЧТО ЭТО ЗА ВОЗМОЖНОСТЬ
Takes an image and outputs a set of bounding boxes, each with a class label and a confidence score. Unlike classification it is not content with one label for the whole image but must say what is where; unlike segmentation it gives rectangles rather than pixel-accurate outlines. Several instances of the same class can be detected at once.
Как это устроено
The mainstream is single-stage detection: anchors or centre points are densely predicted on a feature map and one forward pass regresses both box location and class at once, the YOLO line and SSD being the classic examples, fast enough for real time. Two-stage detectors first propose regions then classify each, slightly more accurate but slower. The loss optimises localisation and classification together, and non-maximum suppression merges overlapping boxes at the end.
Примеры продуктов
4Gemini
2023Универсальная модель с нативной мультимодальностью, рассчитанная на очень длинный контекст
GPT-4o
2024Универсальная модель с нативной мультимодальностью: текст, изображение и звук через один вход
Qwen
2023Семейство с открытыми весами, охватывающее разные размеры и мультимодальные версии
Waymo Driver
2009Система автономного вождения, обслуживающая коммерческие роботакси без страхующего водителя
Связанные организации
Типичное применение
- Vehicle and pedestrian perception for driving
- Video surveillance and perimeter alerts
- Shelf and inventory counting in retail
- Object surveys in remote-sensing imagery
Как её оценивают
- mAP
- Mean of per-class average precision, usually at an IoU threshold
- IoU
- Intersection over union between predicted and true boxes, the hit criterion
- Inference speed (FPS)
- As important as accuracy in real-time settings
Границы и трудности
- Recall drops sharply for occluded, truncated and very small objects
- In crowded scenes non-maximum suppression wrongly removes neighbours; two people side by side may become one
- Objects outside the trained classes are either missed or forced into the nearest known class
Концепции в основе
Обнаружение объектов
От «что на изображении» к «что, где и сколько»
Свёрточные нейронные сети
Замена полных связей на «смотреть локально и переиспользовать один и тот же фильтр везде» — идея, сделавшая распознавание изображений рабочим
Цифровое представление изображения
Для машины фотография — лишь набор наложенных сеток чисел