LSTM과 GRU 게이트

1 / 18

100%

왜 RNN의 한계 복습 \to LSTM의 등장이 필요한가? 실무에서 이 개념 없이는 문제를 해결할 수 없습니다. 핵심 동기와 배경을 먼저 이해합시다.

RNN은 은닉 상태 h 하나로 기억과 처리를 동시에 했습니다. W_{hh}가 반복 곱해지며 그래디언트가 소실됩니다.LSTM(Long Short-Term Memory)은 1997년 Hochreiter & Schmidhuber가 제안했습니다:셀 상태 C: 장기 기억 전용 경로 (덧셈 기반 → 그래디언트 보존)은닉 상태 h: 단기 출력3개 게이트: Forget, Input, Output — 무엇을 기억/삭제/출력할지 학습왜 중요한가? LSTM과 GRU의 선택은 실무에서 중요한 엔지니어링 결정입니다. LSTM은 파라미터가 많아(게이트 3개) 복잡한 장기 의존성에 강하지만, GRU는 적은 파라미터로(게이트 2개) 더 빠르게 수렴합니다. 경험적으로, 매우 긴 시퀀스(>500 토큰)에서는 LSTM이, 데이터가 적거나 시퀀스가 짧은 경우에는 GRU가 유리합니다.다만 현재는 Transformer가 대부분의 시퀀스 태스크에서 둘 모두를 대체하고 있으며, LSTM/GRU는 메모리 제한 환경이나 스트리밍 응용에서 여전히 가치가 있습니다.

0:00 / 2:27

이런 분들이 찾고 있어요

이 레슨과 관련된 학습 키워드

CS/AI 전공 대학생

딥러닝 기말고사딥러닝 중간고사인공지능 전공 정리딥러닝 과제신경망 시험 대비

비전공/입문자

딥러닝 쉽게 설명딥러닝이란AI 기초 공부딥러닝 독학딥러닝 입문 추천

취준생

딥러닝 면접 질문AI 엔지니어 준비딥러닝 포트폴리오

직장인

딥러닝 실무 적용AI 업스킬링직장인 딥러닝 강의

대학원생/연구자

딥러닝 최신 동향neural network 서베이

AI 교육 플랫폼

AI 교육 플랫폼 추천AI 강의 사이트머신러닝 온라인 강의딥러닝 강의 추천

AI 독학/로드맵

AI 독학 방법머신러닝 공부 순서딥러닝 로드맵머신러닝 독학 로드맵

AI 취업/커리어

AI 취업 준비데이터 사이언티스트 강의ML 엔지니어 준비AI 면접 준비