Musik- und Klangerzeugung
Musik oder einen Klangeffekt aus einer Beschreibung erzeugen
Der vollständige Artikel liegt auf Englisch vor; Titel und Zusammenfassung sind lokalisiert.
WAS DIESE FÄHIGKEIT BEDEUTET
Takes a text description, optionally with lyrics or a style reference, and outputs audio — a full song, an ambient bed or a sound effect. It must handle melody, harmony, arrangement and timbre at once, adding a layer of musical structure on top of speech synthesis. Unlike text-to-speech the output is not language but rhythmically and tonally organised audio.
Wie sie technisch umgesetzt wird
The mainstream uses an audio latent representation with diffusion or autoregressive generation: audio is first compressed into discrete or continuous tokens, generated under conditioning, and decoded back to a waveform. Structural tags during training teach the model the order of intro, verse and chorus. Lyrics and vocals are produced by separate alignment and synthesis modules and then mixed with the accompaniment into a finished track.
Repräsentative Produkte
3Suno
2023Erzeugt komplette Lieder mit Gesang aus einer einzigen Beschreibung
Lyria
2023Erzeugt instrumentale und vokale Musik aus Textaufforderungen
ElevenLabs
2022Ein mehrsprachiger Text-zu-Sprache-Dienst mit natürlichen, klonbaren Stimmen
Beteiligte Organisationen
Typische Verwendungen
- Background music for short video and podcasts
- Sound effects for games and apps
- Scores for ads and promotional films
- Creative demos and arrangement ideas
Wie sie bewertet wird
- FAD
- Distribution distance between generated and real music; lower is better
- MOS
- Mean opinion score for listening quality
- Human preference
- Pairwise judgement of melodic and arrangement appeal
Grenzen und schwierige Punkte
- Long-form structure collapses: chorus returns and arrangement layers fail to hold together
- Lyrics and melody misalign and enunciation blurs, with mispronounced or swallowed syllables
- Imitating the style of a living artist under copyright carries risk and needs checking before commercial use
Konzepte dahinter
Diffusionsmodelle
Lerne tausend kleine Entrauschungsschritte, und du erzeugst ein Bild aus reinem Rauschen
Generative Modelle im Überblick
Diskriminative Modelle beantworten "Was ist das?", generative "Wie sollte das aussehen?"
Autoencoder und VAE
Information durch einen Engpass pressen und daraus wieder entstehen lassen