SVM 분류 — 마진을 최대화하는 경계

에스브이엠, 서포트 벡터 머신은 두 클래스를 가장 넓은 마진으로 분리하는 분류기예요.

그림 왼쪽을 보세요. 좁은 마진의 결정 경계가 보여요.

경계가 데이터에 너무 가까워서 새로운 데이터가 조금만 달라도 오분류될 수 있어요.

마진 폭이 약 영 점 삼밖에 안 돼요. 이건 위험한 경계예요.

이제 가운데를 보세요. 최적의 넓은 마진 경계가 있어요.

마진 폭이 이 점 일로 왼쪽보다 일곱 배나 넓어요.

주황색 원으로 표시된 점들이 서포트 벡터예요.

서포트 벡터는 마진 경계에 가장 가까운 점들로, 이 점들만이 결정 경계를 결정해요.

나머지 데이터를 전부 제거해도 경계는 변하지 않아요. 놀랍죠?

오른쪽 상자를 보면 핵심 개념이 정리되어 있어요.

결정 초평면의 수식은 더블유 점 엑스 플러스 비 이퀄 영이에요.

마진은 이 분의 더블유 노름으로 계산해요. 이걸 최대화하는 거예요.

에스브이엠은 볼록 최적화 문제라서 전역 최적해가 보장돼요.

신경망처럼 지역 최소값에 빠질 걱정이 없다는 뜻이에요.

블라디미르 바프닉이 천구백육십삼년에 처음 제안하고, 천구백구십오년에 커널 버전을 완성했어요.

비유하면 두 그룹 사이에 가장 넓은 도로를 까는 것과 같아요.

도로가 넓을수록 새로운 차가 와도 차선을 벗어날 확률이 줄어들죠.

이 넓은 도로 아이디어가 에스브이엠의 핵심 동기예요.

하단의 결론을 보세요. 에스브이엠은 가장 넓은 도로를 찾아 일반화 성능을 극대화해요.

이제 왜 넓은 마진이 수학적으로 더 좋은지 자세히 살펴볼게요.