그래디언트 부스팅(XGBoost) — 약한 학습기의 연합

이런 분들이 찾고 있어요

이 레슨과 관련된 학습 키워드

CS/AI 전공 대학생

머신러닝 기말고사회귀분석 정리분류 알고리즘 비교머신러닝 과제

비전공/입문자

머신러닝이란머신러닝 입문머신러닝 독학 로드맵AI 기초

취준생

머신러닝 면접 질문데이터 사이언티스트 준비ML 엔지니어 포트폴리오

직장인

머신러닝 실무 적용업무 자동화 ML비전공자 머신러닝

대학원생/연구자

ML 알고리즘 비교 논문classical ML 서베이

AI 교육 플랫폼

AI 교육 플랫폼 추천AI 강의 사이트머신러닝 온라인 강의딥러닝 강의 추천

AI 독학/로드맵

AI 독학 방법머신러닝 공부 순서딥러닝 로드맵머신러닝 독학 로드맵

AI 취업/커리어

AI 취업 준비데이터 사이언티스트 강의ML 엔지니어 준비AI 면접 준비

그래디언트 부스팅(XGBoost) — 약한 학습기의 연합

그래디언트 부스팅을 이해하고 XGBoost/sklearn GradientBoosting을 사용하여 분류와 회귀를 수행합니다.

1 / 15

부스팅이란? 약한 학습기의 순차 결합

왜 부스팅이란? 약한 학습기의 순차 결합이(가) 필요한가? 실무에서 이 개념 없이는 문제를 해결할 수 없습니다. 핵심 동기와 배경을 먼저 이해합시다.

</div>

부스팅(Boosting)은 혼자서는 성능이 약한 모델 여러 개를 순서대로 결합해 강한 모델을 만드는 앙상블 기법입니다.

핵심 아이디어: 잔차 학습(Residual Learning)

이전 모델이 틀린 부분(잔차)을 다음 모델이 집중적으로 학습합니다.

단계별 진행:

1. Model 1: 원본 데이터로 예측 → 오차(잔차) 발생

2. Model 2: Model 1의 잔차를 타겟으로 학습 → 남은 오차 감소

3. Model 3: 여전히 남은 잔차를 학습 → 오차 추가 감소

4. 최종 예측 = Model 1 + Model 2 + Model 3 + ...

왜 "약한 학습기"인가?

- 각 모델은 단순한 결정 트리(깊이 3~6)로 충분합니다

- 개별 모델의 정확도는 50~60%면 족합니다

- 수백 개를 순차 결합하면 99%에 도달할 수 있습니다

Bagging과의 핵심 차이:

- Bagging(RF): 독립적 모델을 병렬 학습 → 평균 → 분산 감소

- Boosting: 순차적 모델을 직렬 학습 → 합산 → 편향 감소

편향이 높은(underfitting) 문제에 특히 강력합니다.

0:00

2:16

🎓 강의 스크립트

부스팅은 약한 모델들을 순서대로 결합해서 강한 모델을 만드는 앙상블 기법이에요.

그림 상단의 타임라인을 보세요. 1990년 Schapire가 약한 학습기를 결합하면 강한 학습기가 된다는 것을 수학적으로 증명했어요.

1997년에 AdaBoost가 등장했고, 2001년 Friedman이 그래디언트 부스팅을 제안했어요.

2014년 Chen과 Guestrin이 엑스지부스트를 발표하면서 부스팅의 시대가 열렸어요.

2017년에는 마이크로소프트의 라이트지비엠과 얀덱스의 캣부스트가 나왔어요.

그림 가운데 파이프라인을 보시면, 부스팅의 핵심 과정이 단계별로 나와 있어요.

스텝 1에서 초기 모델 에프제로를 만들어요. 회귀라면 평균값, 분류라면 로그오즈가 돼요.

초기 모델이 틀린 부분, 즉 잔차 알원이 남아요. 실제값에서 예측값을 빼면 되죠.

스텝 2에서 이 잔차를 새로운 타겟으로 삼아 약한 트리 에이치원을 학습해요.

여기서 학습률 에타를 곱해서 조금씩만 반영해요. 보통 영점일 정도를 써요.

스텝 3에서 또 남은 잔차를 학습하고, 이걸 엠번 반복하면 최종 모델이 완성돼요.

그림 오른쪽 보라색 박스를 보세요. 최종 모델은 약한 트리 100개에서 1000개를 합산한 거예요.

각 트리는 깊이 3에서 6 정도로 약하지만, 합치면 매우 강력해져요.

그림 하단 왼쪽을 보면, 부스팅은 편향을 줄이고 배깅은 분산을 줄여요. 둘은 상호보완적이에요.

가운데 수치 예시를 보세요. 실제값 100에 대해 초기 예측이 70이면 잔차가 30이에요.

학습률 영점일로 100번 반복하면 예측이 98점7까지 올라가요.

오른쪽 박스를 보면, 캐글 대회 우승 솔루션의 80퍼센트 이상이 그래디언트 부스팅을 사용해요.

금융의 신용평가, 의료의 질병 예측, 추천 시스템의 CTR 예측에도 핵심적으로 쓰여요.

이전 모델이 틀린 부분을 다음 모델이 배우는 "잔차 학습"이 부스팅의 본질이에요.

다음으로 이 잔차 학습 과정을 시각적으로 더 자세히 살펴볼게요.

💬 강의 Q&A

0:00

0:40

🎓 강의 스크립트

선생님: 부스팅은 순차적으로 모델을 쌓는다고 했는데, 왜 병렬로 학습하는 배깅보다 나을 수 있을까요?

학생: 부스팅은 이전 모델이 틀린 부분을 집중적으로 보정하니까 편향이 줄어들고, 배깅은 독립적인 모델의 평균이니까 분산이 줄어드는 거죠?

선생님: 맞아요. 부스팅은 오차를 순차적으로 줄여가니까 복잡한 패턴을 잡을 수 있어요.

학생: 그러면 부스팅이 항상 더 좋은 건 아니고, 과적합 위험이 있는 거네요?

선생님: 정확해요. 그래서 학습률이나 얼리 스토핑 같은 정규화가 필수예요. 데이터가 노이즈가 많으면 배깅이 더 안정적일 수도 있어요.