AI를 아는 것에서, 풀 수 있는 것으로
이 레슨과 관련된 학습 키워드
SVM(Support Vector Machine)은 두 클래스를 나누는 최적의 결정 경계를 찾는 분류 알고리즘입니다.
핵심 아이디어: 마진 최대화(Maximum Margin)
두 클래스를 나누는 초평면(hyperplane)은 무한히 많습니다. SVM은 그 중에서 마진이 가장 넓은 초평면을 선택합니다.
마진(Margin)이란?
결정 경계와 가장 가까운 데이터 포인트 사이의 거리 × 2입니다. 마진이 넓을수록 새로운 데이터에 대한 일반화(generalization) 성능이 좋아집니다.
서포트 벡터(Support Vector)란?
결정 경계에 가장 가까운 데이터 포인트들입니다. 이 점들만이 결정 경계를 결정합니다.
수학적 직관:
왜 마진이 중요한가?
통계적 학습 이론(VC 이론)에 따르면 마진이 넓을수록 모델의 일반화 오차 상한이 낮아집니다. 단순히 경험적인 것이 아니라 이론적으로 보장된 성질입니다.
왜 중요한가? SVM의 결정 경계는 마진 경계에 위치한 소수의 데이터 포인트(서포트 벡터)에 의해서만 결정됩니다. 나머지 수천, 수만 개의 데이터는 결정 경계에 영향을 주지 않습니다. 이는 두 가지 실용적 장점을 제공합니다. 첫째, 예측 시 서포트 벡터와의 커널 계산만 하면 되므로 효율적입니다.
둘째, 모델이 가장 "어려운" 경계 사례에 집중하므로, 새로운 데이터에 대해 강건한 예측을 합니다. 이 희소성(sparsity)이 SVM의 메모리 효율성과 일반화 성능의 비결입니다.
SVM은 Vapnik과 Cortes가 제안한 최대 마진 분류기에서 시작되었으며, 통계적 학습 이론의 구조적 위험 최소화 원리에 기반한다 (Cortes et al., 1995).