AI를 아는 것에서, 풀 수 있는 것으로
이 레슨과 관련된 학습 키워드
결정 트리는 분류(classification)뿐 아니라 회귀(regression)에도 사용됩니다. 겉보기엔 같은 트리 구조지만, 내부 동작이 다릅니다.
분류 트리 vs 회귀 트리:
| 항목 | 분류 트리 | 회귀 트리 |
|------|-----------|-----------|
| 리프 출력 | 클래스 레이블 (다수결) | 평균값 (해당 영역 샘플의 평균) |
| 분할 기준 | Gini 불순도 / 엔트로피 | MSE (평균제곱오차) 감소 |
| 예측 형태 | 이산적 범주 | 연속적 숫자 |
| 평가 지표 | 정확도, F1-score | MSE, MAE, R² |
회귀 트리의 예측 과정:
1. 루트 노드에서 시작 → 특성값과 임계값 비교
2. 조건에 따라 왼쪽/오른쪽 자식으로 이동
3. 리프 노드에 도달하면 해당 영역에 속한 훈련 샘플들의 평균값을 반환
직관적 이해:
집 가격 예측을 생각해보세요. "면적 > 100m²?" → "방 개수 > 3?" 같은 질문으로 공간을 나누고, 각 영역의 평균 가격을 예측값으로 사용합니다. 결과적으로 계단 함수(step function) 형태의 예측이 됩니다.
참고 문헌: Breiman, L. et al. (1984). "Classification and Regression Trees." Wadsworth International Group. — 결정 트리의 원형인 CART 알고리즘을 제안한 기념비적 저서입니다.
왜 중요한가? 분류 트리는 지니 불순도나 엔트로피로 "순수한" 노드를 만들지만, 회귀 문제에서 "순수함"은 예측값 주변의 분산이 작다는 뜻입니다. MSE를 분할 기준으로 사용하면, 각 분할이 자식 노드의 분산을 최대한 줄이는 방향으로 선택됩니다. 이것은 분류에서의 정보 이득(information gain)과 수학적으로 동치인 개념입니다.
분산이 줄어든다는 것은 같은 리프에 속한 데이터가 비슷한 목표값을 가진다는 의미이므로, 리프의 평균값이 좋은 예측이 됩니다.