Policy Gradient와 PPO

1 / 19

100%

왜 Value-based vs Policy-based 접근법이 필요한가? 강화학습의 두 가지 근본 패러다임을 이해해야 PPO와 같은 최신 알고리즘의 설계 철학을 파악할 수 있습니다. 강화학습에는 크게 두 가지 접근법이 있습니다. Value-based (가치 기반): Q(s,a) 또는 V(s)를 학습한 후, 가치가 높은 행동을 선택 대표: DQN, Q-Learning 한계 1: 이산 행동만 가능 — argmax로 행동을 선택하므로 연속 행동 공간에서 사용 불가 한계 2: 확률적 정책 불가 — 항상 최적 행동 하나만 선택 (결정적) 한계 3: 고차원 행동 공간에서 비효율적 — 행동 개수만큼 Q값 계산 필요 Policy-based (정책 기반): 정책 π(a|s;θ)를 직접 학습 — 행동의 확률 분포를 출력 연속 행동 공간을 자연스럽게 지원 (가우시안 분포 등 사용) 확률적 정책으로 탐험이 자동 내장 대표: REINFORCE, PPO, SAC 장점 1: 연속 행동 — 로봇 팔 관절 각도, 자율주행 핸들 각도 등 장점 2: 확률적 탐험 — ε-greedy 같은 부자연스러운 탐험 불필요 장점 3: 고차원 행동에서 효율적 — 행동 공간 차원에 선형으로 스케일 역사적 맥락: 1992: Williams의 REINFORCE — 최초의 policy gradient 알고리즘 2013: Mnih의 DQN — value-based의 딥러닝 혁명 2015: Schulman의 TRPO — trust region으로 안정적 정책 업데이트 2017: Schulman의 PPO — TRPO를 단순화하여 현재 표준

0:00 / 2:43

이런 분들이 찾고 있어요

이 레슨과 관련된 학습 키워드

CS/AI 전공 대학생

딥러닝 기말고사딥러닝 중간고사인공지능 전공 정리딥러닝 과제신경망 시험 대비

비전공/입문자

딥러닝 쉽게 설명딥러닝이란AI 기초 공부딥러닝 독학딥러닝 입문 추천

취준생

딥러닝 면접 질문AI 엔지니어 준비딥러닝 포트폴리오

직장인

딥러닝 실무 적용AI 업스킬링직장인 딥러닝 강의

대학원생/연구자

딥러닝 최신 동향neural network 서베이

AI 교육 플랫폼

AI 교육 플랫폼 추천AI 강의 사이트머신러닝 온라인 강의딥러닝 강의 추천

AI 독학/로드맵

AI 독학 방법머신러닝 공부 순서딥러닝 로드맵머신러닝 독학 로드맵

AI 취업/커리어

AI 취업 준비데이터 사이언티스트 강의ML 엔지니어 준비AI 면접 준비