그리드 서치와 베이지안 최적화

1 / 15

100%

핵심 구분 : 파라미터(W, b)는 학습이 알아내고, 하이퍼파라미터(lr, depth, batch)는 사람이 정합니다. 이 선택이 성능의 10~20%를 결정합니다. 모델 학습에서 파라미터와 하이퍼파라미터는 근본적으로 다릅니다. 파라미터(Parameter): 모델이 데이터로부터 자동 학습하는 값 가중치(W): 입력과 출력 사이의 연결 강도 편향(b): 활성화 함수의 이동량 역전파(backpropagation)로 매 배치마다 갱신 하이퍼파라미터(Hyperparameter): 사람이 학습 전에 설정하는 값 학습률(learning rate): 0.001 vs 0.01 \to 수렴 속도와 안정성 결정 배치 크기(batch size): 32 vs 256 \to 메모리와 일반화 균형 트리 깊이(max_depth): 3 vs 10 \to 모델 복잡도 조절 정규화 강도(regularization): L1/L2 페널티 크기 왜 자동화가 필요한가? 하이퍼파라미터 3개 x 후보 10개 = 1,000가지 조합 각 조합마다 5-fold 크로스 밸리데이션 = 5,000번 학습 수동 시행착오는 비효율적이고 재현 불가능 자동 튜닝이 10~20% 성능 향상을 가져옴 (Bergstra et al., 2012) 그리드 서치의 체계적 하이퍼파라미터 탐색은 Bergstra와 Bengio가 랜덤 서치와 비교 분석하여 효율성 차이를 입증했다 (Bergstra et al., 2012).

0:00 / 3:03

이런 분들이 찾고 있어요

이 레슨과 관련된 학습 키워드

CS/AI 전공 대학생

머신러닝 기말고사회귀분석 정리분류 알고리즘 비교머신러닝 과제

비전공/입문자

머신러닝이란머신러닝 입문머신러닝 독학 로드맵AI 기초

취준생

머신러닝 면접 질문데이터 사이언티스트 준비ML 엔지니어 포트폴리오

직장인

머신러닝 실무 적용업무 자동화 ML비전공자 머신러닝

대학원생/연구자

ML 알고리즘 비교 논문classical ML 서베이

AI 교육 플랫폼

AI 교육 플랫폼 추천AI 강의 사이트머신러닝 온라인 강의딥러닝 강의 추천

AI 독학/로드맵

AI 독학 방법머신러닝 공부 순서딥러닝 로드맵머신러닝 독학 로드맵

AI 취업/커리어

AI 취업 준비데이터 사이언티스트 강의ML 엔지니어 준비AI 면접 준비