본문으로 건너뛰기
AI 도감

AI 엔지니어링·안전·윤리

작동하는 모델을 쓸 수 있고 신뢰할 수 있으며 책임질 수 있는 제품으로

OVERVIEW

전체 항목
6
입문
2
중급
3
고급
1

Getting a model to work in a notebook is roughly a third of the job. The rest is engineering and governance: compressing it to a deployable cost, evaluating it rather than trusting a feeling, defending against injection and misuse, and being able to explain and attribute failure when it happens. This domain is the gate every model must pass to become a product.

이 영역이 답하는 질문

  • Q1

    How are large models compressed onto consumer hardware?

  • Q2

    How do you evaluate when there is no answer key?

  • Q3

    Why is prompt injection so hard to eliminate?

이 영역의 항목

  1. 01학습·추론 인프라스트럭처고급메모리는 모델의 크기를, 통신은 걸리는 시간을 결정한다 — 연산량 자체가 병목인 경우는 드물다
  2. 02모델 압축중급정확도를 거의 잃지 않고 모델을 더 작고 빠르고 저렴하게 — 다만 셋을 동시에 얻기는 어렵다
  3. 03추론 최적화와 서빙중급학습은 한 번, 추론은 매일 수억 번. 첫 토큰 속도와 처리량은 대개 서로 당긴다
  4. 04검색 증강 생성입문지식을 파라미터에 밀어 넣기보다 밖에 두고 필요할 때 찾는다 — 오픈북 시험처럼
  5. 05에이전트와 도구 사용중급모델이 답만 하지 않고 검색하고 API를 호출하고 코드를 실행하며, 그 결과로 다음 수를 정하게 한다
  6. 06안전성·정렬·프롬프트 인젝션입문모델이 최적화하는 것은 우리가 진짜 원하는 것이 아니라 손실에 적어 넣은 대리 지표다 — 그 틈이 정렬 문제의 전부다