이 레슨과 관련된 학습 키워드
인공지능(AI) — 기계가 생각하는 법 → 딥러닝(Deep Learning) — 인공 신경망의 세계 → 순환 신경망 및 시퀀스 모델 — 순서가 있는 데이터 다루기 → RNN 기초
기본 RNN 셀을 구현하고 기울기 소실 문제(vanishing gradient problem)를 이해합니다.
여러분, 우리 주변의 데이터는 대부분 순서가 핵심이에요.
그림 왼쪽 파란 박스를 보세요. 텍스트 데이터예요.
"나는 밥을 먹었다"에서 단어 순서가 바뀌면 의미가 완전히 달라져요.
"밥을 나는 먹었다"는 같은 단어인데도 어색하잖아요.
그 옆 빨간 박스, 음성 데이터를 볼까요.
사운드 파형은 초당 만 육천 개의 샘플이 시간 순서로 나열돼요.
이 순서를 뒤섞으면 그냥 노이즈가 되어 버려요.
초록 박스를 보세요. 시계열 데이터예요.
주가가 백, 백오, 백삼일 때 다음 값을 예측하려면 과거 패턴이 필수예요.
센서 데이터, 날씨, 의료 기록도 모두 시간 순서에 의미가 있어요.
오른쪽 보라 박스는 동영상이에요. 초당 서른 프레임의 순서가 동작을 만들어요.
프레임을 무작위로 재생하면 아무 동작도 이해할 수 없어요.
가운데 파란 강조 박스를 보세요.
이 네 가지 데이터의 공통점은 시간적 의존성이에요.
과거 정보가 현재와 미래의 의미를 결정한다는 거예요.
아래쪽 비교를 보면, 왼쪽 빨간 박스가 완전연결 네트워크의 한계예요.
에프씨 네트워크는 고정 크기 벡터만 받아서 순서 정보를 잃어버려요.
엑스 일, 엑스 이, 엑스 삼의 순서에 상관없이 같은 결과를 내요.
오른쪽 초록 박스가 알엔엔의 해결책이에요.
알엔엔은 히든 스테이트라는 메모리를 통해 과거 정보를 다음 시점으로 전달해요.
에이치 티 이꿜 에프 괄호 에이치 티 마이너스 일, 엑스 티 닫는 괄호. 이 한 줄이 핵심이에요.
덕분에 길이가 달라도 자연스럽게 처리할 수 있어요.
이것이 시퀀스 모델링의 출발점이 됩니다.
선생님: 순차 데이터 네 가지의 공통 특징이 뭘까요?
학생: 시간적 의존성이요! 과거 데이터가 현재 의미를 결정한다는 거요.
선생님: 맞아요! 그러면 에프씨 네트워크가 순서를 못 다루는 이유는요?
학생: 입력을 고정 크기 벡터로 받아서 순서 정보가 사라지니까요.
선생님: 정확해요. 알엔엔은 이걸 어떻게 해결하나요?
학생: 히든 스테이트가 이전 시점 정보를 다음으로 전달해서 순서를 보존해요!
선생님: 그래요. 히든 스테이트가 곧 알엔엔의 메모리 역할을 하는 거예요.