텍스트 생성과 이어쓰기
앞선 문맥을 이어 한 단어씩 써 내려간다
이 페이지의 본문은 영어로 제공됩니다. 제목과 요약은 한국어로 번역되었습니다.
이 능력이 뜻하는 것
Given a passage as context, the model writes what comes next. Both input and output are text and no particular transformation is targeted: it can continue a story, finish an explanation or draft an email. It differs from conversation in that no instruction format is required, and from summarisation or translation in that neither compression nor a language switch is the goal — both ends stay in the same modality.
기술적으로 구현하는 방법
The dominant route is an autoregressive Transformer language model: text is split into tokens, the model predicts the probability of the next token position by position, and training maximises likelihood over the corpus. GPT, Llama and Qwen all follow it, differing in scale, data and post-training recipe. At inference, temperature, top-k and top-p shape diversity, while long outputs reuse cached keys and values to cut cost.
대표 제품
27GPT-4o
2024네이티브 멀티모달 범용 모델. 텍스트·이미지·오디오를 한 창구에서 다룬다
Llama
2023개방형 가중치 노선을 주류로 만든 범용 모델 계열
Qwen
2023여러 규모와 멀티모달 버전을 아우르는 오픈웨이트 모델 계열
DeepSeek-V3
2024총 671B, 토큰당 37B만 활성화하는 오픈웨이트 MoE
Mistral Large
2024유럽 오픈웨이트 연구소의 플래그십 상용 모델
Gemini
2023네이티브 멀티모달에 초장문 문맥을 다루는 범용 모델
Claude
2023긴 문맥과 안전 정렬로 알려진 범용 대화 모델
MiniMax-M
2025하이브리드 어텐션과 백만 토큰 문맥을 갖춘 오픈웨이트 추론 모델
DeepSeek-R1
2025강화학습으로 추론 사슬을 훈련하고 MIT 라이선스로 가중치를 공개한 추론 모델
Apple Intelligence
2024온디바이스와 프라이빗 클라우드가 나눠 맡는 시스템급 AI 기능
Command R
2024검색 증강과 도구 호출을 위해 설계된 상용 모델
Jamba
2024상태공간 모델과 Transformer를 혼합한 오픈웨이트 모델
DBRX
2024Databricks의 오픈 웨이트 MoE 언어 모델
Gemini
2024검색·오피스·멀티모달 모델을 하나의 대화 창구로 모았다
Grok
2023소셜 플랫폼 데이터와 결합된 대화 모델
Yi
2023중영 이중언어, 초장문 문맥 버전을 제공하는 오픈웨이트 모델
Kimi
2023긴 문맥 처리에 강한 중국어 대화 어시스턴트
Hunyuan
2023오픈웨이트 버전을 포함한 텐센트의 범용 모델 계열
Microsoft Copilot
2023대화형 AI를 운영체제와 오피스 앱에 심었다
Doubao
2023바이트댄스의 범용 대화 모델과 앱
Phi
2023작은 규모와 선별 데이터로 만든 효율적 소형 모델
Step
2023멀티모달과 온디바이스 지향 범용 모델 계열
Baichuan
2023중국어 환경을 겨냥한 오픈웨이트 범용 모델
GLM
2023자기회귀 빈칸 채우기 사전학습에서 출발한 중국어 범용 모델
ChatGPT
2022대규모 언어 모델을 누구나 쓰는 대화 창으로 만들었다
Character.AI
2022직접 만든 캐릭터와 오래 대화하는 역할극형 채팅
ERNIE
2019지식 강화 사전학습에서 출발한 중국어 모델, 초기 대표 버전
관련 기관
대표적 용도
- First drafts and rewriting
- Drafting email, documents and copy
- Code comments and API docs
- Test data and synthetic corpora
성능을 평가하는 방법
- Perplexity
- Predictive uncertainty on held-out text; lower is better
- Human-preference Elo
- Preference ranking from pairwise comparison
- ROUGE/BLEU on constrained tasks
- Reference overlap when an answer key exists
경계와 난점
- Fluency is not truth: the model states wrong facts with confidence — hallucination
- Over long outputs, earlier setup drifts and the text contradicts itself
- Poor sampling settings can trap the model in repetitive or degenerate loops