이 레슨과 관련된 학습 키워드
인공지능(AI) — 기계가 생각하는 법 → 딥러닝(Deep Learning) — 인공 신경망의 세계 → 신경망 기초 — 뉴런에서 학습까지 → 학습 기초
경사하강법이 손실 함수(loss function)를 반복적으로 최소화하여 신경망 매개변수를 최적화하는 방법을 학습합니다.
오늘은 경사 하강법을 배울 거예요.
머신러닝에서 가장 핵심적인 최적화 알고리즘이에요.
모델에는 파라미터가 있어요. 수천 개에서 수조 개까지 다양해요.
이 파라미터를 잘 조정해서 예측을 정확하게 만드는 과정이 학습이에요.
슬라이드 왼쪽을 보세요. 파라미터 세타가 있어요.
리니어 모델은 2개, 레즈넷은 2천5백만 개나 돼요.
가운데 주황색 박스를 보세요. 손실 함수예요.
예측값과 실제값의 차이를 숫자 하나로 요약해주죠.
엠에스이, 크로스엔트로피 같은 함수가 대표적이에요.
오른쪽 초록 박스를 보면, 최적화 알고리즘이 나와 있어요.
경사 하강법, 모멘텀, 아담까지 오늘 이 세 가지를 깊이 다뤄볼 거예요.
아래쪽 학습 루프를 보세요. 네 단계로 구성돼 있어요.
첫째 포워드, 예측값을 계산해요.
둘째 로스 계산, 오차를 측정해요.
셋째 백워드, 기울기를 계산해요.
넷째 업데이트, 파라미터를 갱신해요.
이 네 단계가 수렴할 때까지 에폭마다 반복돼요.
보라색 점선 화살표를 보면, 4단계에서 1단계로 돌아가는 루프가 보이죠?
경사 하강법은 세 번째와 네 번째 단계를 효율적으로 수행하는 핵심이에요.
이번 레슨에서 이 알고리즘을 완전히 마스터해봐요.
선생님: 최적화에서 우리가 줄이려는 것은 정확히 무엇일까요?
학생: 손실 함수의 값이요. 예측과 실제의 차이를 나타내니까요.
선생님: 맞아요! 그러면 파라미터를 왜 직접 계산하지 않고 반복적으로 조정할까요?
학생: 복잡한 모델에서는 정답을 한 번에 구하는 공식이 없으니까요.
선생님: 정확해요. 비선형 모델은 닫힌 형태 해가 없어서 반복 최적화가 필수예요.