수학으로 보는 최신 AI — 수식 뒤의 직관

이 과정의 마지막 레슨이에요. 지금까지 배운 모든 수학이 최신 AI에서 어떻게 합쳐지는지 봅니다.

그림 가운데를 보세요. 최신 AI라는 허브가 있고, 네 갈래 수학 분야가 연결돼 있어요.

왼쪽 위 파란 상자는 선형대수예요. 행렬 곱셈 QK 전치는 Attention의 심장이에요.

SVD 분해는 LoRA에서 가중치를 저랭크로 쪼개는 핵심 도구예요.

오른쪽 위 빨간 상자는 미적분이에요. 경사하강법 나블라 L은 모든 학습의 기초예요.

확률미분방정식 SDE는 Diffusion 모델이 노이즈를 추가하고 제거하는 수학적 언어예요.

왼쪽 아래 초록 상자를 보면 확률과 통계예요. 베이즈 정리는 사후 분포를 계산하죠.

가우시안 분포는 VAE의 잠재 공간부터 RLHF의 보상 모델까지 등장해요.

오른쪽 아래 주황 상자는 정보이론이에요. 엔트로피와 KL 발산이 핵심이에요.

크로스 엔트로피 손실 함수가 바로 정보이론에서 나온 거예요.

위쪽 보라 상자를 보세요. 최적화 이론이 이 모든 분야를 하나로 엮어요.

SGD, 아담 같은 옵티마이저는 미적분과 확률의 결합체예요.

Loss Landscape, NTK도 최적화 이론의 핵심 연구 주제예요.

아래 파란 강조 박스를 보면 이번 레슨의 7가지 주제가 정리돼 있어요.

Attention, Diffusion, Scaling Laws, NTK, Double Descent, Lottery Ticket, MoE예요.

각 주제 옆의 작은 수식 상자들을 보세요. 실제 핵심 공식이 적혀 있어요.

소프트맥스 QK 전치 나누기 루트 d는 Attention의 공식이에요.

L of N은 N의 마이너스 알파 승, 이것이 Scaling Law의 멱법칙이에요.

W 같다 W 영 더하기 BA는 LoRA의 저랭크 적응 공식이에요.

세타 x, x 프라임은 NTK에서 두 입력의 학습 유사도를 측정하는 커널이에요.

하단 결론을 보세요. 네 가지 수학 분야가 최신 AI의 모든 핵심을 하나로 연결해요.

수학은 변하지 않아요. AI 트렌드가 바뀌어도 기초 수학은 동일합니다.