로지스틱 회귀(Logistic Regression)는 이름에 "회귀"가 들어가지만, 실제로는 분류(Classification)를 위한 모델입니다.
핵심 아이디어:
- 선형 회귀의 출력 z = w^T x + b를 시그모이드 함수에 통과시켜 0~1 사이 확률로 변환
- 시그모이드 함수: \sigma(z) = \frac{1}{1 + e^{-z}}
- 출력값 \hat{y} = \sigma(z) \geq 0.5이면 클래스 1, 아니면 클래스 0
왜 선형 회귀를 그대로 쓰면 안 될까?
- 선형 회귀의 출력은 (-\infty, +\infty) → 확률로 해석 불가
- 이상치 하나에 결정 경계가 크게 흔들림
- 시그모이드를 쓰면 출력이 항상 (0, 1) 사이 → 확률로 해석 가능!
직관적 예시: 이메일 스팸 분류
| 특성 | 스팸 확률 |
|---|---|
| "무료", "당첨" 단어 多 | 0.95 (스팸) |
| 일반 업무 메일 | 0.12 (정상) |
| "할인", "지금 바로" 포함 | 0.78 (스팸) |
→ 시그모이드가 선형 결합을 확률로 매핑해주는 핵심 장치!
로지스틱 회귀의 장점:
- 결과가 확률이라 해석이 쉬움
- 계산이 빠르고 대규모 데이터에도 효율적
- 많은 실무 분류 문제의 기본 베이스라인
왜 중요한가? 로지스틱 회귀의 결정 경계는 w^Tx + b = 0인 초평면입니다. 이 경계에서 확률은 정확히 0.5이고, 한쪽은 양성, 반대쪽은 음성으로 분류됩니다. 선형 결정 경계의 장점은 차원에 관계없이 시각적으로 이해할 수 있고, 어떤 피처가 결정에 기여하는지 직관적으로 파악된다는 점입니다.
하지만 XOR 같은 비선형 패턴은 포착할 수 없으며, 이것이 커널 기법이나 신경망이 필요한 이유이기도 합니다.