ElevenLabs
Многоязычный сервис синтеза речи с естественными и клонируемыми голосами
Полный текст статьи представлен на английском; заголовок и аннотация локализованы.
ЧТО ЭТО
ElevenLabs is a text-to-speech service the company launched in 2022 and offers through an API. It synthesises text into natural speech, supports multiple languages and voice cloning, and provides a low-latency streaming mode. Its multilingual model supports about 29 languages, and voice cloning lets users reproduce a specific timbre from a small number of samples. The service is provided in closed form.
Почему стоит запомнить
It packaged near-human, timbre-controllable and cloneable speech synthesis into an easy interface, becoming one of the most widely called services for voice-cloning and dubbing applications.
Ключевые характеристики
- Languages
- About 29 (multilingual model)
- Abilities
- Speech synthesis and voice cloning
- Low-latency mode
- Streaming synthesis
- Open weights
- No
Возможности
Связанные концепции
Обзор порождающих моделей
Дискриминативные модели отвечают «что это», порождающие — «как это должно выглядеть»
Автоэнкодеры и вариационные автоэнкодеры
Сжать информацию через «бутылочное горлышко», а затем восстановить её
Механизм внимания
Каждая позиция может напрямую «видеть» все остальные и динамически распределять внимание по релевантности
Аналоги
SparkTTS
2023Интерфейс синтеза речи, ориентированный на китайский язык
Whisper
2022Расшифровывает речь на многих языках и переводит её на английский
Lyria
2023Создаёт инструментальную и вокальную музыку по текстовому описанию
Suno
2023Создаёт полноценные песни с вокалом по одному описанию