코드를 읽고 설명하면, 합격합니다
이 레슨과 관련된 학습 키워드
순환 신경망 및 시퀀스 모델 — 순서가 있는 데이터 다루기 → RNN 기초
기본 RNN 셀을 구현하고 기울기 소실 문제(vanishing gradient problem)를 이해합니다.
순차 데이터(Sequential Data)는 순서가 의미를 결정하는 데이터입니다.
텍스트에서 "개가 사람을 물었다"와 "사람이 개를 물었다"는 단어 순서만 다르지만 의미가 완전히 다릅니다.
음성, 시계열, 비디오 등도 모두 시간 순서에 따라 의미가 변합니다.
FC 네트워크와 CNN은 입력의 순서 정보를 활용할 수 없습니다.
FC는 입력을 고정 크기 벡터로 받고, CNN은 지역 패턴만 감지합니다.
RNN(Recurrent Neural Network)은 이 순서 정보를 모델링하기 위해 설계되었습니다.
RNN의 핵심 아이디어는 은닉 상태(hidden state) 를 통해 이전 입력의 정보를 기억하는 것입니다.
각 시간 단계에서 현재 입력과 이전 은닉 상태를 결합하여 새로운 은닉 상태를 생성합니다.
이 과정이 시퀀스 끝까지 반복되며, 최종 은닉 상태에 전체 문맥이 요약됩니다.
RNN의 이론적 기반인 시간 역전파(BPTT) 알고리즘은 Werbos가 제안한 동적 시스템의 기울기 계산 방법이다 (Werbos, 1990).
여러분, 우리 주변의 데이터는 대부분 순서가 핵심이에요.
그림 왼쪽 파란 박스를 보세요. 텍스트 데이터예요.
"나는 밥을 먹었다"에서 단어 순서가 바뀌면 의미가 완전히 달라져요.
"밥을 나는 먹었다"는 같은 단어인데도 어색하잖아요.
그 옆 빨간 박스, 음성 데이터를 볼까요.
사운드 파형은 초당 만 육천 개의 샘플이 시간 순서로 나열돼요.
이 순서를 뒤섞으면 그냥 노이즈가 되어 버려요.
초록 박스를 보세요. 시계열 데이터예요.
주가가 백, 백오, 백삼일 때 다음 값을 예측하려면 과거 패턴이 필수예요.
센서 데이터, 날씨, 의료 기록도 모두 시간 순서에 의미가 있어요.
오른쪽 보라 박스는 동영상이에요. 초당 서른 프레임의 순서가 동작을 만들어요.
프레임을 무작위로 재생하면 아무 동작도 이해할 수 없어요.
가운데 파란 강조 박스를 보세요.
이 네 가지 데이터의 공통점은 시간적 의존성이에요.
과거 정보가 현재와 미래의 의미를 결정한다는 거예요.
아래쪽 비교를 보면, 왼쪽 빨간 박스가 완전연결 네트워크의 한계예요.
에프씨 네트워크는 고정 크기 벡터만 받아서 순서 정보를 잃어버려요.
엑스 일, 엑스 이, 엑스 삼의 순서에 상관없이 같은 결과를 내요.
오른쪽 초록 박스가 알엔엔의 해결책이에요.
알엔엔은 히든 스테이트라는 메모리를 통해 과거 정보를 다음 시점으로 전달해요.
에이치 티 이꿜 에프 괄호 에이치 티 마이너스 일, 엑스 티 닫는 괄호. 이 한 줄이 핵심이에요.
덕분에 길이가 달라도 자연스럽게 처리할 수 있어요.
이것이 시퀀스 모델링의 출발점이 됩니다.