Ước lượng tư thế và điểm mấu chốt
Định vị khớp và dựng lại bộ xương
Toàn văn của trang này được trình bày bằng tiếng Anh; tiêu đề và phần dẫn đã được bản địa hóa.
NĂNG LỰC NÀY NGHĨA LÀ GÌ
Takes an image or video and outputs coordinates for a set of keypoints — shoulders, elbows, wrists, hips, knees, ankles — which join into a skeleton. It adds geometric structure on top of detection and returns coordinate sequences rather than classes. It works both on a single person and on many people, grouping points per individual.
Làm ra sao về mặt kỹ thuật
Two paradigms dominate: top-down detects each person first and regresses keypoints inside the box, accurate but slower as the crowd grows; bottom-up predicts all joints over the image at once and assembles points into individuals using part-affinity fields, with speed largely independent of headcount. Heatmap regression was long the standard, and direct coordinate regression with Transformer backbones has since matured.
Sản phẩm tiêu biểu
4Gemini
2023Mô hình đa phương thức gốc, xử lý ngữ cảnh siêu dài
Qwen
2023Dòng trọng số mở với nhiều kích cỡ và bản đa phương thức
Optimus
2022Dự án robot hình người tái sử dụng nhận thức của xe tự lái
Figure 02
2024Robot hình người thế hệ hai điều khiển bằng mô hình thị giác–ngôn ngữ–hành động
Tổ chức liên quan
Cách dùng tiêu biểu
- Fitness and sports motion analysis
- Human–computer interaction and gesture control
- Motion capture and animation driving
- Hand and face tracking
Đánh giá nó tốt hay không thế nào
- PCK
- Share of keypoints falling within a radius of the truth
- OKS / keypoint mAP
- Detection average precision weighted by joint visibility
- MPJPE
- Mean joint position error in 3D pose, in millimetres
Ranh giới và điểm khó
- Occlusion and crops drop keypoints, yet the model still fills in a plausible but wrong location
- Extreme poses — handstands, curled-up bodies — fall outside training and amplify error
- With mutual occlusion, limbs are stitched onto the wrong person
Các khái niệm đằng sau
Phát hiện đối tượng
Từ “trong ảnh có gì” đến “cái gì, ở đâu và bao nhiêu”
Mạng nơ-ron tích chập
Thay kết nối đầy đủ bằng “nhìn cục bộ, dùng lại cùng một thước ở mọi nơi” — ý tưởng đưa nhận dạng ảnh thành khả thi
Biểu diễn số của ảnh
Với máy móc, một bức ảnh chỉ là các lưới số xếp chồng