BatchNorm과 LayerNorm

1 / 17

100%

왜 Internal Covariate Shift: 왜 정규화가 필요한가가 필요한가? 실무에서 이 개념 없이는 문제를 해결할 수 없습니다. 핵심 동기와 배경을 먼저 이해합시다. 딥 네트워크에서 각 레이어는 이전 레이어의 출력을 입력으로 받습니다. 학습이 진행되면서 가중치가 바뀌면 각 레이어의 입력 분포도 계속 변합니다. 문제: Internal Covariate Shift 레이어 1의 가중치가 변하면 \to 레이어 2의 입력 분포가 변함 이 변동이 깊은 레이어로 갈수록 증폭됨 결과: 학습률을 작게 해야 하고, 초기화에 민감하고, 수렴이 느림 Sigmoid/Tanh에서 특히 심각: 입력 분포가 크게 변하면 포화 영역(saturation zone)에 빠짐 포화 \to 그래디언트가 거의 0 \to 학습 정지 (vanishing gradient) 해결 아이디어: 각 레이어의 입력을 평균 0, 분산 1로 정규화하면 분포 변동을 억제할 수 있습니다. \to 이것이 Batch Normalization (Ioffe & Szegedy, 2015)의 핵심입니다. BN 이후로 더 깊은 네트워크, 더 큰 학습률, 더 빠른 수렴이 가능해졌습니다.

0:00 / 2:44

이런 분들이 찾고 있어요

이 레슨과 관련된 학습 키워드

CS/AI 전공 대학생

딥러닝 기말고사딥러닝 중간고사인공지능 전공 정리딥러닝 과제신경망 시험 대비

비전공/입문자

딥러닝 쉽게 설명딥러닝이란AI 기초 공부딥러닝 독학딥러닝 입문 추천

취준생

딥러닝 면접 질문AI 엔지니어 준비딥러닝 포트폴리오

직장인

딥러닝 실무 적용AI 업스킬링직장인 딥러닝 강의

대학원생/연구자

딥러닝 최신 동향neural network 서베이

AI 교육 플랫폼

AI 교육 플랫폼 추천AI 강의 사이트머신러닝 온라인 강의딥러닝 강의 추천

AI 독학/로드맵

AI 독학 방법머신러닝 공부 순서딥러닝 로드맵머신러닝 독학 로드맵

AI 취업/커리어

AI 취업 준비데이터 사이언티스트 강의ML 엔지니어 준비AI 면접 준비