qcoding

논문 Dream to Control: Learning Behaviors by Latent Imagination 저자 Hafner et al. (Google Brain / DeepMind) 학회/연도 ICLR 2020 arXiv 1912.01603📄 한 문단 요약Dreamer는 Google Brain이 ICLR 2020에 발표한 모델 기반 강화학습 알고리즘이다. 핵심 아이디어는 세 단계다: ① RSSM(Recurrent State Space Model)으로 세계 모델을 학습하고, ② 실제 환경 없이 이 세계 모델 안에서 H=15 스텝을 상상(imagination)한 뒤, ③ 상상 궤적을 통해 역전파(backpropagation)로 Actor-Critic을 직접 최적화한다. 덕분에 DeepMind ..

논문 Proximal Policy Optimization Algorithms 저자 Schulman et al. (OpenAI) 학회/연도 arXiv preprint, 2017 arXiv 1707.06347📄 한 문단 요약PPO(Proximal Policy Optimization)는 OpenAI가 2017년 제안한 정책 경사 알고리즘으로, TRPO의 수학적 복잡성(2차 미분, conjugate gradient)을 제거하면서 동일한 "안전한 업데이트 보장"을 단순한 Clip 연산 하나로 대체한다. 정책 비율 r_t = π/π_old를 [1−ε, 1+ε] 범위로 자르는 것만으로 정책이 급격히 변하는 것을 막고, MuJoCo 연속 제어 7개 환경에서 TRPO·A2C·ACKTR를 대부분 능가했다. 구현이..