그래디언트의 직관 — 가장 가파른 방향 찾기

AI 모델 학습의 핵심 질문은 "수억 개의 파라미터를 어떤 방향으로 얼마나 바꿔야 하는가?"입니다.

그림 오른쪽 위 초록 박스를 보세요. 이 질문에 대한 답이 바로 그래디언트예요.

왼쪽의 등고선 그림을 보면, 손실 곡면 위에서 빨간 동심원이 손실 값의 높낮이를 나타내요.

가운데가 가장 낮은 곳, 즉 글로벌 미니멈이에요. 우리가 도달하고 싶은 목표 지점이죠.

주황색 화살표가 그래디언트의 반대 방향, 마이너스 나블라 L을 따라 이동하는 모습이에요.

스텝 1에서 스텝 3까지, 점점 최소점에 가까워지는 게 보이시죠?

신경망은 수백만에서 수천억 개의 파라미터를 동시에 조정해야 합니다.

GPT-3만 해도 1,750억 개의 파라미터가 있어요. 이걸 무작위로 바꿔서는 절대 학습이 안 돼요.

오른쪽 파란 박스를 보세요. 첫 번째 이유는 방향 제시예요.

그래디언트 벡터 ∇L은 각 파라미터가 손실을 줄이려면 어느 쪽으로 가야 하는지 정확히 알려줍니다.

빨간 박스를 보면, 두 번째는 크기 제시예요. 그래디언트가 큰 파라미터일수록 손실에 민감해요.

작은 값을 가진 파라미터는 상대적으로 덜 중요하다는 신호를 줍니다.

보라색 박스의 세 번째 이유는 효율성이에요. 역전파 한 번이면 모든 파라미터의 그래디언트를 구해요.

만약 하나씩 수치적으로 계산하면, 파라미터 수만큼 순전파를 반복해야 하거든요.

시안 박스의 네 번째 이유는 확장성입니다. 수천억 파라미터에서도 작동하는 건 그래디언트 기반 방법뿐이에요.

등고선에서 각 타원은 같은 손실 값을 가진 점들의 집합이에요.

그래디언트는 항상 등고선에 수직으로 향해요. 가장 가파른 오르막 방향이니까요.

우리는 손실을 줄이고 싶으니 그 반대 방향, 마이너스 그래디언트 방향으로 이동합니다.

이것이 경사하강법, 그래디언트 디센트의 핵심 아이디어예요.

하단 요약을 보면, 그래디언트 없이는 고차원 파라미터 공간에서 최적해를 찾을 수 없어요.

현대 딥러닝의 아담, SGD, 아담W 같은 모든 옵티마이저가 그래디언트를 기반으로 합니다.

이번 레슨에서 그래디언트의 수학적 직관부터 실전 활용까지 하나씩 파헤쳐 볼게요.