Phân đoạn hình ảnh
Gán nhãn vật thể cho từng điểm ảnh
Toàn văn của trang này được trình bày bằng tiếng Anh; tiêu đề và phần dẫn đã được bản địa hóa.
NĂNG LỰC NÀY NGHĨA LÀ GÌ
Takes an image and outputs a mask the size of the input, labelling each pixel with its class or its instance. It is finer than detection because it gives outlines rather than boxes. Semantic segmentation only distinguishes classes (all of them are people), while instance segmentation also separates individuals (A and B are different people); the two are often lumped together as segmentation.
Làm ra sao về mặt kỹ thuật
The classic design is an encoder–decoder: the encoder downsamples to extract semantics, the decoder upsamples to restore resolution, and skip connections carry high-resolution detail from shallow layers, with U-Net and fully convolutional networks as landmarks. Instance segmentation often detects first and predicts a mask inside each box (the Mask R-CNN line), or uses a promptable segment-anything model cued by clicks or boxes to isolate arbitrary objects.
Sản phẩm tiêu biểu
4Gemini
2023Mô hình đa phương thức gốc, xử lý ngữ cảnh siêu dài
Qwen
2023Dòng trọng số mở với nhiều kích cỡ và bản đa phương thức
SenseAvatar
2022Tạo video người kỹ thuật số khớp khẩu hình từ ảnh chân dung và một đoạn âm thanh
GPT-4o
2024Mô hình đa phương thức gốc, xử lý văn bản, hình ảnh và âm thanh qua một cửa vào
Tổ chức liên quan
Cách dùng tiêu biểu
- Organ and lesion delineation in medical imaging
- Land-cover classification in remote sensing
- Drivable area and obstacles for driving
- Selection masks for image editing
Đánh giá nó tốt hay không thế nào
- IoU / mIoU
- Intersection over union of masks, averaged over classes
- Dice coefficient
- Common in medical imaging, more sensitive than IoU for small targets
- Boundary F-score
- Judges only contour fit rather than large correct interiors
Ranh giới và điểm khó
- Thin structures and boundaries — hair, wires, vessel tips — break or lose their thinness
- Adjacent or overlapping instances of the same class merge into one blob
- Masks are inaccurate on transparent, reflective or low-contrast materials
Các khái niệm đằng sau
Phân đoạn ngữ nghĩa
Tô màu từng điểm ảnh: không phải khung bao, mà là sách tô màu
Mạng nơ-ron tích chập
Thay kết nối đầy đủ bằng “nhìn cục bộ, dùng lại cùng một thước ở mọi nơi” — ý tưởng đưa nhận dạng ảnh thành khả thi
Biểu diễn số của ảnh
Với máy móc, một bức ảnh chỉ là các lưới số xếp chồng