DQN (Deep Q-Network) — 딥러닝으로 게임 정복

큐러닝은 큐테이블에 모든 상태와 행동 쌍의 가치를 저장하는 방식이에요.

그런데 아타리 게임 화면은 210곱하기160 픽셀에 3채널이라서, 가능한 상태 수가 10의 67000제곱이에요.

이렇게 천문학적인 상태를 테이블에 저장하는 건 물리적으로 불가능하죠.

로봇 관절 각도나 자동차 속도 같은 연속적인 실수 값도 테이블에 넣을 수 없어요.

게다가 비슷한 상태여도 별개로 취급해서 학습 경험을 전혀 공유하지 못해요.

그림 왼쪽을 보시면 큐테이블의 세 가지 한계가 정리되어 있어요.

상태 폭발, 연속 상태 불가, 일반화 불가 — 이 세 가지가 핵심 문제예요.

해결책은 신경망으로 큐 함수를 근사하는 거예요.

큐 에스 에이 세미콜론 세타 — 유한한 파라미터 세타로 무한한 상태를 커버하는 거죠.

그림 오른쪽을 보시면 디큐엔의 구조가 나와 있어요.

입력으로 84곱하기84 크기의 게임 화면 4장을 받아요.

씨엔엔 레이어를 통과하면서 공간적 특징을 추출하고요.

완전연결 레이어를 거쳐 모든 행동의 큐값을 한 번에 출력해요.

비슷한 상태는 자동으로 비슷한 큐값을 내놓으니까 일반화가 되는 거예요.

수백만 개의 파라미터로 10의 67000제곱 상태를 커버할 수 있게 된 거죠.

2015년 딥마인드가 네이처 논문으로 발표했어요.

아타리 49개 게임에서 인간 수준의 성능을 달성한 역사적인 연구예요.

디큐엔의 두 가지 핵심 비결은 익스피리언스 리플레이와 타깃 네트워크예요.

이 두 기법 덕분에 신경망으로도 안정적으로 강화학습을 할 수 있게 됐어요.

이번 레슨에서 이 모든 내용을 하나씩 깊이 있게 살펴볼 거예요.

다음 슬라이드에서 디큐엔의 전체 아키텍처를 자세히 보겠습니다.