Chỉnh sửa video và khớp khẩu hình
Cắt lại hoặc lồng tiếng để khẩu hình khớp âm thanh
Toàn văn của trang này được trình bày bằng tiếng Anh; tiêu đề và phần dẫn đã được bản địa hóa.
NĂNG LỰC NÀY NGHĨA LÀ GÌ
Takes a video plus a text instruction or a new audio track and outputs an edited version: lines can be replaced with matching lip movement, objects erased, or a person swapped for a synthetic avatar. Unlike image-to-video it does not generate fresh footage but makes local changes on an existing timeline while keeping it coherent.
Làm ra sao về mặt kỹ thuật
Lip sync typically runs on two fronts: one branch drives face-region generation, redrawing the mouth from phonemes and audio features while preserving head pose and identity, and another aligns audio to video in time so it does not drift. Digital-human video models the person as a controllable 3D or neural representation driven by speech and expression parameters. Object removal borrows video completion, using neighbouring frames to fill the erased region consistently in time.
Sản phẩm tiêu biểu
5Synthesia
2019Nhập văn bản, nhận video có nhân vật ảo đang nói
SenseAvatar
2022Tạo video người kỹ thuật số khớp khẩu hình từ ảnh chân dung và một đoạn âm thanh
Kling
2024Mô hình video ngắn cho cả văn bản thành video và ảnh thành video
Hailuo
2024Mô hình video ngắn chú trọng tuân thủ chỉ dẫn và ngôn ngữ máy quay
Veo
2024Tạo clip video 1080p với các cảnh mạch lạc
Tổ chức liên quan
Cách dùng tiêu biểu
- Multilingual dubbing and localisation
- Corporate training and narrated courseware
- Rapid re-versioning of ad creative
- Fixing and erasing mistakes in post-production
Đánh giá nó tốt hay không thế nào
- Lip-sync LSE-C / LSE-D
- Consistency distance between audio and visual features; better when matched
- Human rating
- Subjective scores for lip naturalness and preservation
- FVD
- Overall distribution quality of the edited video
Ranh giới và điểm khó
- Fast speech, non-native pronunciation and plosive-heavy sentences desynchronise the lips most
- Long edits accumulate flicker and identity drift, and the same person gradually deforms
- Profile views, downward gaze and occlusion make face prediction unstable, exposing seams in the redrawn mouth
Các khái niệm đằng sau
Sinh đa phương thức
Một mô hình học nói, vẽ, chuyển động — thậm chí mô hình hóa thế giới ba chiều
Mô hình khuếch tán
Học ngàn bước khử nhiễu nhỏ, bạn tạo được ảnh từ nhiễu thuần
Khuếch tán trong không gian ẩn và điều khiển có điều kiện
Khuếch tán không trên điểm ảnh, mà trong một không gian ngữ nghĩa đã nén