تجزئة الصور
إسناد كل بكسل إلى الجسم الذي ينتمي إليه
يُعرض النص الكامل باللغة الإنجليزية؛ وقد تمت ترجمة العنوان والملخص.
ما الذي تعنيه هذه القدرة
Takes an image and outputs a mask the size of the input, labelling each pixel with its class or its instance. It is finer than detection because it gives outlines rather than boxes. Semantic segmentation only distinguishes classes (all of them are people), while instance segmentation also separates individuals (A and B are different people); the two are often lumped together as segmentation.
كيف تُنفَّذ تقنيًا
The classic design is an encoder–decoder: the encoder downsamples to extract semantics, the decoder upsamples to restore resolution, and skip connections carry high-resolution detail from shallow layers, with U-Net and fully convolutional networks as landmarks. Instance segmentation often detects first and predicts a mask inside each box (the Mask R-CNN line), or uses a promptable segment-anything model cued by clicks or boxes to isolate arbitrary objects.
منتجات تمثيلية
4Gemini
2023نموذج عام متعدد الوسائط بطبيعته، مصمم لسياقات طويلة جدًا
Qwen
2023عائلة بأوزان مفتوحة تغطي أحجامًا متعددة، مع نسخ متعددة الوسائط
SenseAvatar
2022يولّد فيديو شخصية رقمية متزامن الشفاه من صورة شخصية ومقطع صوتي
GPT-4o
2024نموذج عام متعدد الوسائط بطبيعته، يجمع النص والصورة والصوت في مدخل واحد
المؤسسات ذات الصلة
الاستخدامات الشائعة
- Organ and lesion delineation in medical imaging
- Land-cover classification in remote sensing
- Drivable area and obstacles for driving
- Selection masks for image editing
كيف يُقاس مدى جودتها
- IoU / mIoU
- Intersection over union of masks, averaged over classes
- Dice coefficient
- Common in medical imaging, more sensitive than IoU for small targets
- Boundary F-score
- Judges only contour fit rather than large correct interiors
الحدود والصعوبات
- Thin structures and boundaries — hair, wires, vessel tips — break or lose their thinness
- Adjacent or overlapping instances of the same class merge into one blob
- Masks are inaccurate on transparent, reflective or low-contrast materials
المفاهيم الكامنة وراءها
التجزئة الدلالية
تلوين كل بكسل: ليس إطارًا حول الجسم، بل دفتر تلوين
الشبكات العصبية الالتفافية
استبدال الاتصال الكامل بـ«النظر محليًا وإعادة استخدام المسطرة نفسها في كل مكان» — الفكرة التي جعلت التعرّف على الصور ممكنًا
التمثيل الرقمي للصورة
الصورة بالنسبة للآلة ليست سوى شبكات من الأرقام متراكبة