DQN (Deep Q-Network)

1 / 19

Q-table의 한계 → 신경망 근사

100%

왜 Q-table의 한계 \to 신경망 근사가 필요한가? 실무에서 이 개념 없이는 문제를 해결할 수 없습니다. 핵심 동기와 배경을 먼저 이해합시다. Q-Learning 은 Q-table에 모든 상태-행동 쌍의 가치를 저장합니다. 하지만 실제 문제에서는 이 방식이 근본적으로 작동하지 않습니다. Q-table이 실패하는 이유: 1. 상태 공간 폭발: Atari 게임의 화면은 210\times160 픽셀 \times 3채널 — 가능한 상태 수가 256^(210\times160\times3) \approx 10^(67,000) 이상 2. 연속 상태: 로봇 관절 각도, 자동차 속도 등은 실수 값 — 테이블에 저장 불가 3. 일반화 불가: 비슷한 상태여도 별개로 취급하여 학습 경험을 공유할 수 없음 해결책: 함수 근사 (Function Approximation) Q(s, a) \approx Q(s, a; θ) 신경망 파라미터 θ로 Q 함수를 근사하면: 유한한 파라미터(수만~수백만)로 무한한 상태 공간 커버 비슷한 상태에 대해 자동으로 일반화 (feature extraction) 연속 상태를 직접 입력으로 사용 가능 고차원 입력(이미지)도 처리 가능 Deep Q-Network (DQN) 은 이 아이디어를 구현한 혁신적 알고리즘입니다: 상태 s를 입력받아 모든 행동의 Q값을 출력하는 심층 신경망 2015년 DeepMind가 Nature 논문으로 발표, Atari 49개 게임에서 인간 수준 성능 달성 두 가지 핵심 기법: Experience Replay + Target Network 딥 강화학습(Deep RL) 시대를 연 기념비적 연구

0:00 / 2:32

이런 분들이 찾고 있어요

이 레슨과 관련된 학습 키워드

CS/AI 전공 대학생

딥러닝 기말고사딥러닝 중간고사인공지능 전공 정리딥러닝 과제신경망 시험 대비

비전공/입문자

딥러닝 쉽게 설명딥러닝이란AI 기초 공부딥러닝 독학딥러닝 입문 추천

취준생

딥러닝 면접 질문AI 엔지니어 준비딥러닝 포트폴리오

직장인

딥러닝 실무 적용AI 업스킬링직장인 딥러닝 강의

대학원생/연구자

딥러닝 최신 동향neural network 서베이

AI 교육 플랫폼

AI 교육 플랫폼 추천AI 강의 사이트머신러닝 온라인 강의딥러닝 강의 추천

AI 독학/로드맵

AI 독학 방법머신러닝 공부 순서딥러닝 로드맵머신러닝 독학 로드맵

AI 취업/커리어

AI 취업 준비데이터 사이언티스트 강의ML 엔지니어 준비AI 면접 준비