로지스틱 회귀 — 확률로 분류하기

로지스틱 회귀는 이름에 회귀가 들어가지만, 사실 분류를 위한 모델이에요.

왼쪽 그림을 보세요. 선형 회귀로 합격 여부를 예측하면 어떻게 될까요?

직선이 데이터를 관통하면서 위로는 1을 넘고, 아래로는 0 미만이 돼요.

확률이라면 반드시 영과 일 사이여야 하는데, 선형 회귀는 이걸 보장하지 못해요.

게다가 이상치 하나가 들어오면 직선 전체가 기울어져서 결정 경계가 크게 흔들려요.

이제 오른쪽을 보세요. 시그모이드 함수를 통과시키면 S자 곡선이 나타나요.

시그모이드 함수는 어떤 값이든 영과 일 사이로 눌러주는 함수예요.

수식으로 보면, 시그마 z는 1 나누기 1 더하기 e의 마이너스 z승이에요.

z가 매우 크면 시그마는 1에 가까워지고, z가 매우 작으면 0에 가까워져요.

그리고 z가 정확히 0일 때 시그마 값은 0.5예요. 이 지점이 바로 결정 경계에요.

파란 점선을 보면 z 등호 0인 지점에서 클래스가 나뉘는 걸 확인할 수 있어요.

출력이 0.5 이상이면 클래스 1, 미만이면 클래스 0으로 분류하는 거예요.

왜 회귀라는 이름이 붙었냐면, 확률값 자체가 영에서 일 사이의 연속값이기 때문이에요.

최종 분류는 이 확률에 임계값을 적용해서 결정하는 2단계 구조예요.

Cox가 1958년에 제안한 이 모델은 지금도 의료와 금융 분야에서 널리 쓰여요.

딥러닝의 뉴런 하나가 바로 이 로지스틱 회귀와 동일한 구조라는 점도 기억하세요.

즉, 로지스틱 회귀를 이해하면 신경망의 기본 단위를 이해하는 거예요.

실무에서는 새로운 모델의 성능을 비교할 때 항상 로지스틱 회귀를 기준선으로 먼저 돌려봐요.

계산이 빠르고 해석이 쉬워서 기본 베이스라인으로 최적이거든요.

면접에서도 단골 질문이에요. 로지스틱 회귀가 왜 회귀인지, 시그모이드가 왜 필요한지 설명할 수 있어야 해요.

오른쪽 하단의 수식 박스를 다시 보세요. z 등호 w 트랜스포즈 x 더하기 b, 이게 선형 결합이에요.

이 선형 결합을 시그모이드에 넣어서 확률로 바꾸는 게 로지스틱 회귀의 전부예요.