Hình ảnh sang video
Làm một ảnh tĩnh chuyển động
Toàn văn của trang này được trình bày bằng tiếng Anh; tiêu đề và phần dẫn đã được bản địa hóa.
NĂNG LỰC NÀY NGHĨA LÀ GÌ
Takes an image, optionally with a motion description, and outputs a clip that starts from it. The first frame is usually tightly constrained to the input, and later frames extrapolate motion and camera movement from there. Unlike text-to-video it has a definite visual starting point, which raises the bar for preserving subject identity and appearance.
Làm ra sao về mặt kỹ thuật
A common approach encodes the input as a condition, either pinning the first frame of the diffusion process or injecting it as a reference, then generates the following frames; another route extends keyframes with an image model and interpolates in between. Motion magnitude and camera control are set by explicit strength parameters or trajectory conditions, while physical plausibility is learned implicitly from motion priors in the data.
Sản phẩm tiêu biểu
8Stable Video Diffusion
2023Biến một ảnh tĩnh thành video ngắn bằng mô hình khuếch tán
Kling
2024Mô hình video ngắn cho cả văn bản thành video và ảnh thành video
Hailuo
2024Mô hình video ngắn chú trọng tuân thủ chỉ dẫn và ngôn ngữ máy quay
Dream Machine
2024Tạo video ngắn có chuyển động từ văn bản hoặc ảnh
Veo
2024Tạo clip video 1080p với các cảnh mạch lạc
Gen-3 Alpha
2024Mô hình văn bản thành video dễ điều khiển cho phim và quảng cáo
Seedance
2024Mô hình tạo video hướng tới kể chuyện nhiều cảnh
Sora
2024Tạo video mạch lạc dài tới khoảng một phút từ một mô tả
Tổ chức liên quan
Cách dùng tiêu biểu
- Animating photos and memory clips
- Product showcases and animated ad visuals
- Motion pre-vis from key art and storyboards
- Shot drafts for games and film
Đánh giá nó tốt hay không thế nào
- FVD
- Distribution gap between generated and real video
- First-frame fidelity
- Agreement between the first frame and the input
- Human preference
- Pairwise judgement of motion naturalness and subject retention
Ranh giới và điểm khó
- Identity drifts after the first frame, with faces and clothing changing first
- Large camera moves break background geometry: straight lines bend and buildings misalign
- Occlusion and parallax are often wrong, inverting front-back relations
Các khái niệm đằng sau
Mô hình khuếch tán
Học ngàn bước khử nhiễu nhỏ, bạn tạo được ảnh từ nhiễu thuần
Khuếch tán trong không gian ẩn và điều khiển có điều kiện
Khuếch tán không trên điểm ảnh, mà trong một không gian ngữ nghĩa đã nén
Sinh đa phương thức
Một mô hình học nói, vẽ, chuyển động — thậm chí mô hình hóa thế giới ba chiều