그래디언트 부스팅(XGBoost)

1 / 15

100%

왜 부스팅이란? 약한 학습기의 순차 결합이 필요한가? 실무에서 이 개념 없이는 문제를 해결할 수 없습니다. 핵심 동기와 배경을 먼저 이해합시다. 부스팅(Boosting) 은 혼자서는 성능이 약한 모델 여러 개를 순서대로 결합해 강한 모델을 만드는 앙상블 기법입니다. 핵심 아이디어: 잔차 학습(Residual Learning) 이전 모델이 틀린 부분(잔차)을 다음 모델이 집중적으로 학습합니다. 단계별 진행: 1. Model 1 : 원본 데이터로 예측 \to 오차(잔차) 발생 2. Model 2 : Model 1의 잔차를 타겟으로 학습 \to 남은 오차 감소 3. Model 3 : 여전히 남은 잔차를 학습 \to 오차 추가 감소 4. 최종 예측 = Model 1 + Model 2 + Model 3 + ... 왜 "약한 학습기"인가? 각 모델은 단순한 결정 트리(깊이 3~6)로 충분합니다 개별 모델의 정확도는 50~60%면 족합니다 수백 개를 순차 결합하면 99%에 도달할 수 있습니다 Bagging과의 핵심 차이: Bagging(RF) : 독립적 모델을 병렬 학습 \to 평균 \to 분산 감소 Boosting : 순차적 모델을 직렬 학습 \to 합산 \to 편향 감소 편향이 높은(underfitting) 문제에 특히 강력합니다. 부스팅의 이론적 기초는 Freund와 Schapire가 제안한 AdaBoost에서 시작되었으며, 약한 학습기의 앙상블이 강한 학습기를 구성할 수 있음을 증명했다 (Freund et al., 1997).

0:00 / 2:56

이런 분들이 찾고 있어요

이 레슨과 관련된 학습 키워드

CS/AI 전공 대학생

머신러닝 기말고사회귀분석 정리분류 알고리즘 비교머신러닝 과제

비전공/입문자

머신러닝이란머신러닝 입문머신러닝 독학 로드맵AI 기초

취준생

머신러닝 면접 질문데이터 사이언티스트 준비ML 엔지니어 포트폴리오

직장인

머신러닝 실무 적용업무 자동화 ML비전공자 머신러닝

대학원생/연구자

ML 알고리즘 비교 논문classical ML 서베이

AI 교육 플랫폼

AI 교육 플랫폼 추천AI 강의 사이트머신러닝 온라인 강의딥러닝 강의 추천

AI 독학/로드맵

AI 독학 방법머신러닝 공부 순서딥러닝 로드맵머신러닝 독학 로드맵

AI 취업/커리어

AI 취업 준비데이터 사이언티스트 강의ML 엔지니어 준비AI 면접 준비