코드를 읽고 설명하면, 합격합니다
이 레슨과 관련된 학습 키워드
지도학습 기초 — 데이터에서 패턴 배우기 → 선형 모델
로지스틱 회귀를 사용한 이진 분류를 학습하고 교차 검증으로 평가합니다.
로지스틱 회귀(Logistic Regression)는 이름에 "회귀"가 들어가지만, 실제로는 분류(Classification)를 위한 모델입니다.
핵심 아이디어:
왜 선형 회귀를 그대로 쓰면 안 될까?
직관적 예시: 이메일 스팸 분류
| 특성 | 스팸 확률 |
|---|---|
| "무료", "당첨" 단어 多 | 0.95 (스팸) |
| 일반 업무 메일 | 0.12 (정상) |
| "할인", "지금 바로" 포함 | 0.78 (스팸) |
→ 시그모이드가 선형 결합을 확률로 매핑해주는 핵심 장치!
로지스틱 회귀의 장점:
왜 중요한가? 로지스틱 회귀의 결정 경계는 w^Tx + b = 0인 초평면입니다. 이 경계에서 확률은 정확히 0.5이고, 한쪽은 양성, 반대쪽은 음성으로 분류됩니다. 선형 결정 경계의 장점은 차원에 관계없이 시각적으로 이해할 수 있고, 어떤 피처가 결정에 기여하는지 직관적으로 파악된다는 점입니다. 하지만 XOR 같은 비선형 패턴은 포착할 수 없으며, 이것이 커널 기법이나 신경망이 필요한 이유이기도 합니다.
로지스틱 회귀는 이름에 회귀가 들어가지만, 사실 분류를 위한 모델이에요.
왼쪽 그림을 보세요. 선형 회귀로 합격 여부를 예측하면 어떻게 될까요?
직선이 데이터를 관통하면서 위로는 1을 넘고, 아래로는 0 미만이 돼요.
확률이라면 반드시 영과 일 사이여야 하는데, 선형 회귀는 이걸 보장하지 못해요.
게다가 이상치 하나가 들어오면 직선 전체가 기울어져서 결정 경계가 크게 흔들려요.
이제 오른쪽을 보세요. 시그모이드 함수를 통과시키면 S자 곡선이 나타나요.
시그모이드 함수는 어떤 값이든 영과 일 사이로 눌러주는 함수예요.
수식으로 보면, 시그마 z는 1 나누기 1 더하기 e의 마이너스 z승이에요.
z가 매우 크면 시그마는 1에 가까워지고, z가 매우 작으면 0에 가까워져요.
그리고 z가 정확히 0일 때 시그마 값은 0.5예요. 이 지점이 바로 결정 경계에요.
파란 점선을 보면 z 등호 0인 지점에서 클래스가 나뉘는 걸 확인할 수 있어요.
출력이 0.5 이상이면 클래스 1, 미만이면 클래스 0으로 분류하는 거예요.
왜 회귀라는 이름이 붙었냐면, 확률값 자체가 영에서 일 사이의 연속값이기 때문이에요.
최종 분류는 이 확률에 임계값을 적용해서 결정하는 2단계 구조예요.
Cox가 1958년에 제안한 이 모델은 지금도 의료와 금융 분야에서 널리 쓰여요.
딥러닝의 뉴런 하나가 바로 이 로지스틱 회귀와 동일한 구조라는 점도 기억하세요.
즉, 로지스틱 회귀를 이해하면 신경망의 기본 단위를 이해하는 거예요.
실무에서는 새로운 모델의 성능을 비교할 때 항상 로지스틱 회귀를 기준선으로 먼저 돌려봐요.
계산이 빠르고 해석이 쉬워서 기본 베이스라인으로 최적이거든요.
면접에서도 단골 질문이에요. 로지스틱 회귀가 왜 회귀인지, 시그모이드가 왜 필요한지 설명할 수 있어야 해요.
오른쪽 하단의 수식 박스를 다시 보세요. z 등호 w 트랜스포즈 x 더하기 b, 이게 선형 결합이에요.
이 선형 결합을 시그모이드에 넣어서 확률로 바꾸는 게 로지스틱 회귀의 전부예요.