Tạo nhạc và hiệu ứng âm thanh
Tạo nhạc hoặc hiệu ứng âm thanh từ mô tả
Toàn văn của trang này được trình bày bằng tiếng Anh; tiêu đề và phần dẫn đã được bản địa hóa.
NĂNG LỰC NÀY NGHĨA LÀ GÌ
Takes a text description, optionally with lyrics or a style reference, and outputs audio — a full song, an ambient bed or a sound effect. It must handle melody, harmony, arrangement and timbre at once, adding a layer of musical structure on top of speech synthesis. Unlike text-to-speech the output is not language but rhythmically and tonally organised audio.
Làm ra sao về mặt kỹ thuật
The mainstream uses an audio latent representation with diffusion or autoregressive generation: audio is first compressed into discrete or continuous tokens, generated under conditioning, and decoded back to a waveform. Structural tags during training teach the model the order of intro, verse and chorus. Lyrics and vocals are produced by separate alignment and synthesis modules and then mixed with the accompaniment into a finished track.
Sản phẩm tiêu biểu
3Suno
2023Tạo bài hát hoàn chỉnh có giọng hát từ một mô tả
Lyria
2023Tạo nhạc không lời và có giọng hát từ câu lệnh văn bản
ElevenLabs
2022Dịch vụ chuyển văn bản thành giọng nói đa ngôn ngữ với giọng tự nhiên, có thể nhân bản
Tổ chức liên quan
Cách dùng tiêu biểu
- Background music for short video and podcasts
- Sound effects for games and apps
- Scores for ads and promotional films
- Creative demos and arrangement ideas
Đánh giá nó tốt hay không thế nào
- FAD
- Distribution distance between generated and real music; lower is better
- MOS
- Mean opinion score for listening quality
- Human preference
- Pairwise judgement of melodic and arrangement appeal
Ranh giới và điểm khó
- Long-form structure collapses: chorus returns and arrangement layers fail to hold together
- Lyrics and melody misalign and enunciation blurs, with mispronounced or swallowed syllables
- Imitating the style of a living artist under copyright carries risk and needs checking before commercial use
Các khái niệm đằng sau
Mô hình khuếch tán
Học ngàn bước khử nhiễu nhỏ, bạn tạo được ảnh từ nhiễu thuần
Tổng quan về mô hình sinh
Mô hình phân biệt trả lời "đây là gì"; mô hình sinh trả lời "nó nên trông như thế nào"
Autoencoder và VAE
Nén thông tin qua một nút thắt rồi để nó mọc lại