손실 함수 심화 — 모델이 실수를 측정하는 법

다양한 손실 함수와 각각을 언제 사용해야 하는지, 그리고 이들이 훈련에 미치는 영향을 탐구합니다.

1 / 16

손실 함수란 무엇인가

손실 함수(Loss Function)는 모델의 예측값과 실제 정답 사이의 "틀린 정도"를 하나의 숫자로 표현합니다.

왜 필요한가?

- "이 모델이 좋다/나쁘다"는 주관적 → 숫자로 객관화

- 경사 하강법이 최소화할 목적 함수 역할

- 미분 가능해야 역전파로 그래디언트 계산 가능

손실 vs 비용 vs 목적 함수:

- Loss: 개별 샘플의 오차 $L(\hat{y}, y)$

- Cost: 전체 데이터 평균 $J = \frac{1}{N}\sum L_i$

- Objective: Cost + 정규화 $J + \lambda R(\theta)$

핵심 요구사항 3가지:

1. 미분 가능: 역전파에 필수

2. 예측이 정답에 가까울수록 값이 작아야 함

3. 연속적: 파라미터 변화 → 손실 변화가 매끄러워야

$\theta^* = \arg\min_\theta \frac{1}{N}\sum_{i=1}^{N} L(f_\theta(x_i), y_i)$

비유하면 시험의 감점입니다. 정확도는 높을수록 좋지만, 감점(=손실)은 낮을수록 좋습니다. 경사 하강법의 목표는 이 감점을 최소화하는 것입니다.

0:00

1:29

🎓 강의 스크립트

손실 함수가 무엇인지부터 시작할게요.

모델 학습의 가장 핵심적인 개념이에요.

그림 왼쪽을 보세요, 초록 점이 정답이고 빨간 점이 예측이에요.

둘 사이의 주황 점선이 바로 오차예요.

손실 함수는 이 오차들을 숫자 하나로 요약하는 함수예요.

왜 숫자 하나여야 할까요?

경사 하강법은 기울기를 계산해서 내려가야 하거든요.

만약 손실이 벡터면, 어느 방향으로 내려가야 할지 모호해져요.

가운데 파이프라인을 보세요.

오차 벡터가 손실 함수를 거쳐 스칼라 하나로 변환돼요.

엘은 일엔 시그마 엘아이라는 공식으로 표현해요.

오른쪽 보라색 박스를 보시면 용어 구분이 있어요.

로스는 샘플 하나의 오차를 뜻해요.

코스트는 전체 데이터의 평균 손실이에요.

오브젝티브는 정규화 항까지 포함한 최종 목표예요.

실제 논문에서는 셋을 혼용하는 경우가 많아요.

하단을 보면 손실 함수를 네 가지로 분류했어요.

회귀용으로는 엠에스이, 엠에이이, 후버가 있어요.

분류용으로는 크로스 엔트로피와 포컬 로스가 대표적이에요.

거리 기반은 임베딩 학습에 쓰이는 컨트라스티브, 트리플렛이 있어요.

정규화 손실은 과적합을 막는 보조 손실이에요.

이번 레슨에서 이 네 범주를 모두 깊이 다뤄볼 거예요.

💬 강의 Q&A

0:00

0:27

🎓 강의 스크립트

선생님: 손실 함수가 반드시 스칼라를 출력해야 하는 이유가 뭘까요?

학생: 경사 하강법이 하나의 값을 기준으로 미분해야 하니까요.

선생님: 맞아요, 벡터가 나오면 방향이 모호해져서 최적화가 안 돼요.

선생님: 그러면 로스와 코스트의 차이는 뭘까요?

학생: 로스는 샘플 하나, 코스트는 전체 평균이요.

선생님: 정확해요, 오브젝티브는 거기에 정규화까지 더한 거예요.

이런 분들이 찾고 있어요

이 레슨과 관련된 학습 키워드

CS/AI 전공 대학생

딥러닝 기말고사딥러닝 중간고사인공지능 전공 정리딥러닝 과제신경망 시험 대비

비전공/입문자

딥러닝 쉽게 설명딥러닝이란AI 기초 공부딥러닝 독학딥러닝 입문 추천

취준생

딥러닝 면접 질문AI 엔지니어 준비딥러닝 포트폴리오

직장인

딥러닝 실무 적용AI 업스킬링직장인 딥러닝 강의

대학원생/연구자

딥러닝 최신 동향neural network 서베이

AI 교육 플랫폼

AI 교육 플랫폼 추천AI 강의 사이트머신러닝 온라인 강의딥러닝 강의 추천

AI 독학/로드맵

AI 독학 방법머신러닝 공부 순서딥러닝 로드맵머신러닝 독학 로드맵

AI 취업/커리어

AI 취업 준비데이터 사이언티스트 강의ML 엔지니어 준비AI 면접 준비

손실 함수 심화 — 모델이 실수를 측정하는 법

다양한 손실 함수와 각각을 언제 사용해야 하는지, 그리고 이들이 훈련에 미치는 영향을 탐구합니다.

1 / 16

손실 함수란 무엇인가

손실 함수(Loss Function)는 모델의 예측값과 실제 정답 사이의 "틀린 정도"를 하나의 숫자로 표현합니다.

왜 필요한가?

- "이 모델이 좋다/나쁘다"는 주관적 → 숫자로 객관화

- 경사 하강법이 최소화할 목적 함수 역할

- 미분 가능해야 역전파로 그래디언트 계산 가능

손실 vs 비용 vs 목적 함수:

- Loss: 개별 샘플의 오차 $L(\hat{y}, y)$

- Cost: 전체 데이터 평균 $J = \frac{1}{N}\sum L_i$

- Objective: Cost + 정규화 $J + \lambda R(\theta)$

핵심 요구사항 3가지:

1. 미분 가능: 역전파에 필수

2. 예측이 정답에 가까울수록 값이 작아야 함

3. 연속적: 파라미터 변화 → 손실 변화가 매끄러워야

$\theta^* = \arg\min_\theta \frac{1}{N}\sum_{i=1}^{N} L(f_\theta(x_i), y_i)$

비유하면 시험의 감점입니다. 정확도는 높을수록 좋지만, 감점(=손실)은 낮을수록 좋습니다. 경사 하강법의 목표는 이 감점을 최소화하는 것입니다.

0:00

1:29

🎓 강의 스크립트

손실 함수가 무엇인지부터 시작할게요.

모델 학습의 가장 핵심적인 개념이에요.

그림 왼쪽을 보세요, 초록 점이 정답이고 빨간 점이 예측이에요.

둘 사이의 주황 점선이 바로 오차예요.

손실 함수는 이 오차들을 숫자 하나로 요약하는 함수예요.

왜 숫자 하나여야 할까요?

경사 하강법은 기울기를 계산해서 내려가야 하거든요.

만약 손실이 벡터면, 어느 방향으로 내려가야 할지 모호해져요.

가운데 파이프라인을 보세요.

오차 벡터가 손실 함수를 거쳐 스칼라 하나로 변환돼요.

엘은 일엔 시그마 엘아이라는 공식으로 표현해요.

오른쪽 보라색 박스를 보시면 용어 구분이 있어요.

로스는 샘플 하나의 오차를 뜻해요.

코스트는 전체 데이터의 평균 손실이에요.

오브젝티브는 정규화 항까지 포함한 최종 목표예요.

실제 논문에서는 셋을 혼용하는 경우가 많아요.

하단을 보면 손실 함수를 네 가지로 분류했어요.

회귀용으로는 엠에스이, 엠에이이, 후버가 있어요.

분류용으로는 크로스 엔트로피와 포컬 로스가 대표적이에요.

거리 기반은 임베딩 학습에 쓰이는 컨트라스티브, 트리플렛이 있어요.

정규화 손실은 과적합을 막는 보조 손실이에요.

이번 레슨에서 이 네 범주를 모두 깊이 다뤄볼 거예요.

💬 강의 Q&A

0:00

0:27

🎓 강의 스크립트

선생님: 손실 함수가 반드시 스칼라를 출력해야 하는 이유가 뭘까요?

학생: 경사 하강법이 하나의 값을 기준으로 미분해야 하니까요.

선생님: 맞아요, 벡터가 나오면 방향이 모호해져서 최적화가 안 돼요.

선생님: 그러면 로스와 코스트의 차이는 뭘까요?

학생: 로스는 샘플 하나, 코스트는 전체 평균이요.

선생님: 정확해요, 오브젝티브는 거기에 정규화까지 더한 거예요.