코드를 읽고 설명하면, 합격합니다
이 레슨과 관련된 학습 키워드
지도학습 기초 — 데이터에서 패턴 배우기 → 트리 기반 모델
결정 트리가 지니 불순도(Gini impurity)와 정보 이득(information gain)을 사용하여 데이터를 분할하는 방법을 이해합니다.
결정 트리(Decision Tree)는 예/아니오 질문을 반복해서 데이터를 분류하는 지도학습 모델입니다.
핵심 아이디어:
스무고개 게임과 동일합니다. "이 동물은 다리가 4개인가?" → Yes → "짖는가?" → Yes → 개!
데이터에서도 똑같이, 특성(feature)에 대한 질문을 반복해서 정답 클래스에 도달합니다.
왜 결정 트리인가:
분류 vs 회귀:
이 레슨에서는 분류 트리에 집중합니다.
실생활 활용:
결정 트리의 기본 알고리즘인 ID3는 Quinlan이 정보 이득 기반으로 설계했으며, 이후 C4.5로 발전했다 (Quinlan, 1986).
그림을 보세요. 결정 트리는 머신러닝에서 가장 직관적인 분류 알고리즘이에요.
사람이 일상에서 판단하는 방식을 그대로 모델로 만든 거예요.
예를 들어 이메일이 스팸인지 판단할 때, "무료" 단어가 있는지 먼저 확인하죠.
있으면 링크가 많은지 확인하고, 없으면 발신자가 알려진 사람인지 확인해요.
이렇게 질문을 연쇄적으로 던져서 데이터를 분류하는 게 결정 트리예요.
그림 왼쪽을 보세요. 이메일 스팸 분류의 트리 구조가 보여요.
맨 위가 루트 노드예요. 첫 번째 질문을 던지는 곳이에요.
중간에 있는 건 내부 노드예요. 추가 질문으로 데이터를 더 세분화해요.
맨 아래가 리프 노드예요. 최종 분류 결과가 여기에 있어요.
아래 표를 보면 에스브이엠이나 케이엔엔과 비교했을 때, 결정 트리의 해석력이 압도적이에요.
오른쪽 패널을 보세요. 네 가지 핵심 특성이 정리되어 있어요.
비모수적 모델이라서 데이터 분포를 가정할 필요가 없어요.
선형 회귀처럼 정규분포를 가정하지 않아도 된다는 뜻이에요.
재귀적으로 특성 공간을 이진 분할하는 방식이에요.
탐욕 알고리즘이라 각 단계에서 최선의 분할만 선택해요.
분류와 회귀 모두 가능해요. 분류 트리, 회귀 트리로 나뉘어요.
아래 역사 타임라인을 보면, 카트 알고리즘이 1984년에 나왔어요.
아이디쓰리는 1986년, 씨포인트파이브는 1993년에 나왔어요.
2001년에 랜덤 포레스트가 나오면서 앙상블의 시대가 열렸어요.
지금은 단독으로 쓰기보다는 랜덤 포레스트나 그래디언트 부스팅의 기본 구성요소로 많이 써요.
결정 트리를 완벽히 이해하면 앙상블 학습의 기초가 탄탄해져요.