वाक् पहचान
बोले गए ऑडियो को पाठ में बदलना
यह पृष्ठ अंग्रेज़ी में प्रस्तुत है; शीर्षक और सारांश का स्थानीयकरण किया गया है।
यह क्षमता क्या है
Takes an audio clip and outputs a written transcription, usually with timestamps and punctuation. It only turns sound into letters without interpreting it; it is the reverse direction of speech synthesis, and unlike video understanding it reads only the audio track. In multi-party recordings it must also separate speakers.
तकनीकी रूप से कैसे
Early systems were hybrids of an acoustic model and a language model, decoding frame by frame with hidden Markov models and a pronunciation lexicon. End-to-end models map acoustic features straight to characters or subwords, and Whisper-style training on large weakly labelled multilingual data markedly improved robustness to noise and accents. Streaming recognition must emit text before the audio ends, forcing a trade-off between latency and accuracy.
प्रतिनिधि उत्पाद
6Whisper
2022कई भाषाओं की वाणी को टेक्स्ट में लिखता और अंग्रेज़ी में अनुवाद करता है
GPT-4o
2024मूल रूप से बहुविध सामान्य मॉडल — पाठ, चित्र और ऑडियो एक ही द्वार से
Gemini
2023मूल रूप से बहुविध, अति-लंबे संदर्भ के लिए बना सामान्य मॉडल
Qwen
2023अनेक आकारों और बहुविध संस्करणों वाला ओपन-वेट परिवार
Hunyuan
2023ओपन-वेट संस्करणों सहित टेनसेंट का सामान्य मॉडल परिवार
Siri
2011वह शुरुआती वॉइस असिस्टेंट जिसने आम फ़ोन में आवाज़ से नियंत्रण लाया
संबंधित संस्थान
सामान्य उपयोग
- Automatic minutes for meetings and interviews
- Subtitle generation and video transcription
- Voice input and voice search
- Quality inspection and analytics of support calls
इसका मूल्यांकन कैसे होता है
- Word error rate
- Substitutions, deletions and insertions over the truth length
- Character error rate
- Preferred for languages without spaces, such as Chinese
- Real-time factor
- Processing time over audio duration, showing whether it keeps up live
सीमाएँ और कठिनाइयाँ
- Overlapping speech and heavy background noise make the error rate jump; crosstalk is nearly unresolvable
- Accents, dialects, jargon and rare proper nouns are the main sources of error
- Timestamps and punctuation are unstable on long audio, and bad segmentation hurts downstream reading and search
इसके पीछे की अवधारणाएँ
अटेंशन तंत्र
हर स्थान बाकी सभी स्थानों को सीधे देख सकता है और प्रासंगिकता के अनुसार ध्यान बाँट सकता है
Transformer आर्किटेक्चर
शब्द-दर-शब्द relay की जगह वह कक्ष जहाँ सब एक साथ बोलते हैं, जिससे दूर की निर्भरताएँ एक कदम पर आ जाती हैं
टोकनाइज़ेशन
मॉडल अक्षर नहीं, टोकन पढ़ते हैं — विभाजन का तरीका चुपचाप क्षमता और लागत तय करता है