ResNet과 스킵 연결

1 / 18

100%

왜 깊은 네트워크의 역설: Degradation Problem이 필요한가? 실무에서 이 개념 없이는 문제를 해결할 수 없습니다. 핵심 동기와 배경을 먼저 이해합시다. Degradation Problem의 핵심: 56층 네트워크가 20층보다 학습 에러도, 테스트 에러도 더 높음 이것은 오버피팅이 아님 — 학습 에러 자체가 높기 때문 이론적으로 56층은 20층의 해를 포함해야 함 (추가 층이 identity를 학습하면 됨) 하지만 실제로 SGD는 이 identity 매핑을 학습하지 못함 이 문제를 해결하기 위해 F(x) + x 구조, 즉 스킵 커넥션 이 제안됨 왜 중요한가? 2015년 ImageNet 대회에서 ResNet은 152층으로 인간 수준(top-5 에러 3.57%)을 처음으로 달성했습니다. 이전까지 VGG(19층), GoogLeNet(22층)이 한계였던 것과 비교하면 혁명적입니다. ResNet이 증명한 것은 "깊이가 곧 성능"이라는 원칙이며, 스킵 연결이라는 단순한 아이디어가 이를 가능하게 했습니다. 이후 거의 모든 딥러닝 아키텍처가 잔차 연결을 기본 구성요소로 채택하게 됩니다. 잔차 학습(Residual Learning)은 He 등이 제안한 혁신적 아이디어로, 스킵 연결을 통해 152층 네트워크의 학습을 가능하게 했다 (He et al., 2016).

0:00 / 2:26

이런 분들이 찾고 있어요

이 레슨과 관련된 학습 키워드

CS/AI 전공 대학생

딥러닝 기말고사딥러닝 중간고사인공지능 전공 정리딥러닝 과제신경망 시험 대비

비전공/입문자

딥러닝 쉽게 설명딥러닝이란AI 기초 공부딥러닝 독학딥러닝 입문 추천

취준생

딥러닝 면접 질문AI 엔지니어 준비딥러닝 포트폴리오

직장인

딥러닝 실무 적용AI 업스킬링직장인 딥러닝 강의

대학원생/연구자

딥러닝 최신 동향neural network 서베이

AI 교육 플랫폼

AI 교육 플랫폼 추천AI 강의 사이트머신러닝 온라인 강의딥러닝 강의 추천

AI 독학/로드맵

AI 독학 방법머신러닝 공부 순서딥러닝 로드맵머신러닝 독학 로드맵

AI 취업/커리어

AI 취업 준비데이터 사이언티스트 강의ML 엔지니어 준비AI 면접 준비