전체 항목

벡터와 벡터 공간

AI는 단어·이미지·소리·사용자까지 모두 숫자 배열로 바꾼다

기울기와 경사하강법

딥러닝의 본질은 하나다 — 내리막 방향으로 조금씩 걷는 것

행렬 연산과 선형 변환

행렬 곱셈은 곱하고 더하는 계산이 아니라, 공간 전체를 한 번에 바꾸는 변환이다

확률과 확률분포

모델은 ‘정답’을 내놓지 않고, 가능한 모든 답에 대한 확신도를 내놓는다

베이즈 정리

조금 믿고, 증거를 보고, 조금 수정한다 — 이것이 베이즈다

엔트로피와 정보이론

문장이 예상 밖일수록 더 많은 정보를 담는다. 언어 모델의 손실 함수가 재는 것은 바로 그 ‘놀라움’이다

지도 학습

‘질문과 정답’의 짝을 보여 주어 모델이 스스로 답하게 만든다

비지도 학습

정답이 없을 때는 데이터가 스스로 구조를 드러내게 한다 — ‘좋음’의 기준도 다시 정의해야 한다

손실 함수

손실 함수는 ‘무엇을 벌할지’를 정한다 — 바꾸면 옳고 그름의 기준 자체가 바뀐다

과적합과 정규화

모델이 훈련 데이터를 통째로 외웠지만 새 데이터에서는 맥을 못 춘다

모델 평가와 교차 검증

정확도는 가장 속기 쉬운 지표다 — 평가를 틀리면 나머지가 전부 무너진다

편향-분산 트레이드오프

모든 예측 오차는 셋으로 나뉜다 — 너무 단순한 모델, 너무 요동치는 모델, 그리고 세계 자체의 무작위성

뉴런과 퍼셉트론

신경망의 가장 작은 부품 — 가중합에 편향을 더하고 비선형성을 한 번 비틀다

역전파

‘기울기 계산’을 수학 노동에서 함수 한 번 호출로 — 딥러닝이 도약한 순간

활성화 함수

이것이 없으면 아무리 깊은 네트워크도 단 한 번의 선형 변환일 뿐이다

합성곱 신경망

‘국소적으로 보고, 같은 자를 어디서나 재사용’으로 완전 연결을 대체해 이미지 인식을 처음으로 실용화했다

순환 신경망

네트워크에 ‘기억’을: 같은 유닛을 시간에 따라 재사용해 임의 길이의 시퀀스를 다룬다

정규화와 잔차 연결

수백 층 네트워크를 실제로 학습 가능하게: 항등 지름길 하나와 층마다의 재조정

토큰화

모델은 글자가 아니라 토큰을 읽는다. 분할 방식이 성능과 비용을 조용히 결정한다

단어 임베딩

단어를 좌표로 바꾸면 유의어가 스스로 모이고, 의미를 처음으로 더하고 뺄 수 있다

어텐션 메커니즘

모든 위치가 다른 모든 위치를 직접 보고 관련도에 따라 주의를 동적으로 배분한다

Transformer 아키텍처

한 단어씩 전달하는 대신 모두가 동시에 말하는 회의로 바꾸어, 멀리 떨어진 의존성을 한 번에 연결한다

사전학습과 미세조정

방대한 무표지 텍스트로 언어를 먼저 익히고 소량 데이터로 전문화한다 — 현대 AI에서 가장 데이터 효율적인 패러다임

프롬프트 엔지니어링과 정렬

모델을 유용하고 정직하며 무해하게 만드는 일은 단순히 더 크게 만드는 것보다 어렵다

이미지의 디지털 표현

기계에게 사진은 숫자 격자를 겹쳐 놓은 것에 불과하다

합성곱 연산

작은 틀 하나를 이미지 전체에 훑려 모서리·질감·형태를 찾아낸다

이미지 분류

“고양이는 수염이 있다”고 알려주지 말고, 충분한 고양이를 보여주면 스스로 깨닫는다

객체 탐지

“무엇이 있는가”에서 “무엇이·어디에·몇 개 있는가”로

시맨틱 분할

모든 픽셀에 색칠하기 — 상자를 그리는 게 아니라 색칠 공부처럼

자기지도 비전과 멀티모달 대조 학습

라벨이 필요 없다 — “어느 것이 같은 이미지인가”로 세상을 보는 법을 배운다

마르코프 결정 과정

‘한 걸음씩 결정하는 일’을 다섯 기호로 적는다. 강화학습의 모든 것이 여기서 시작된다

가치 함수와 Q 러닝

‘무엇을 할지’를 맞히기보다 먼저 ‘각 선택의 가치’를 계산한다

정책 경사법

정책 자체를 직접 조정해 ‘좋은 행동’이 더 자주 나오게 한다

탐험과 활용

지금 최선의 선택이 장기적으로 최선이라는 보장은 없다

심층 강화학습

신경망이 픽셀에서 곧바로 결정하게 하되, 오래된 아이디어로 안정화한다

인간 피드백 기반 강화학습

‘좋은 답’을 수식으로 쓸 수 없을 때는 인간이 보상 함수 역할을 한다

생성 모델 개요

판별 모델은 "이것은 무엇인가"에, 생성 모델은 "어떻게 보여야 하는가"에 답한다

오토인코더와 변분 오토인코더

정보를 병목으로 압축했다가 다시 길러낸다

생성적 적대 신경망

위조자와 감정사의 대결 — 서로의 한계를 끌어낸다

확산 모델

작은 잡음 제거를 천 번 배우면 순수 잡음에서 이미지를 만들어낸다

잠재 공간 확산과 조건 제어

픽셀이 아니라 압축된 의미 공간에서 확산을 수행한다

멀티모달 생성

하나의 모델이 말하고, 그리고, 움직이고, 심지어 3차원 세계를 모델링한다

학습·추론 인프라스트럭처

메모리는 모델의 크기를, 통신은 걸리는 시간을 결정한다 — 연산량 자체가 병목인 경우는 드물다

모델 압축

정확도를 거의 잃지 않고 모델을 더 작고 빠르고 저렴하게 — 다만 셋을 동시에 얻기는 어렵다

추론 최적화와 서빙

학습은 한 번, 추론은 매일 수억 번. 첫 토큰 속도와 처리량은 대개 서로 당긴다

검색 증강 생성

지식을 파라미터에 밀어 넣기보다 밖에 두고 필요할 때 찾는다 — 오픈북 시험처럼

에이전트와 도구 사용

모델이 답만 하지 않고 검색하고 API를 호출하고 코드를 실행하며, 그 결과로 다음 수를 정하게 한다

안전성·정렬·프롬프트 인젝션

모델이 최적화하는 것은 우리가 진짜 원하는 것이 아니라 손실에 적어 넣은 대리 지표다 — 그 틈이 정렬 문제의 전부다