경사하강법 깊이 이해 — 최적화의 핵심 엔진

안녕하세요, 오늘은 경사하강법을 깊이 이해해볼 거예요.

머신러닝은 결국 최적화 문제라는 것부터 시작합시다.

그림 왼쪽을 보세요. 등고선 지도처럼 생긴 손실 함수가 보이죠?

빨간 점들이 경사하강법의 경로예요. 바깥에서 중심으로 향하고 있어요.

중심의 녹색 점이 최적해 세타 스타예요. 손실이 가장 작은 지점이죠.

가운데 주황색 박스를 보세요. 핵심 공식이 있어요.

세타에서 학습률 에타 곱하기 그래디언트를 빼는 거예요. 이게 전부예요.

그래디언트는 손실이 가장 빠르게 증가하는 방향을 알려줘요.

그러니까 반대 방향으로 가면 가장 빠르게 손실을 줄일 수 있는 거죠.

오른쪽 박스를 보면 왜 경사하강법인지 세 가지 이유가 나와요.

첫째, 전수조사는 불가능해요. GPT-3만 해도 1,750억 개 파라미터예요.

둘째, 비선형 함수는 해석적 해가 없어요. 공식으로 못 풀어요.

셋째, 경사하강법은 파라미터 수에 비례하는 연산량이면 돼요.

보라색 박스를 보세요. 볼록함수에서 학습률이 1/L 이하면 수렴이 보장돼요.

볼록함수는 O(1/t), 강볼록은 지수적으로 빠르게 수렴해요.

결국 경사하강법은 현재 위치에서 가장 가파른 내리막으로 한 걸음씩 걷는 거예요.

단순하지만 수학적 보장이 있고, GPU 병렬화에 최적이라 현대 딥러닝의 심장이 된 거죠.

다음 슬라이드에서 이 기본 아이디어가 어떻게 SGD로 발전했는지 볼게요.

지금 핵심만 기억하세요. 그래디언트의 반대 방향, 학습률만큼 이동. 이 두 가지예요.

이 단순한 규칙이 어떻게 수억 개 파라미터를 학습시키는지 계속 알아볼게요.