qcoding

논문 Mastering Atari with Discrete World Models 저자 Hafner et al. (Google Research / DeepMind) 학회/연도 ICLR 2021 arXiv 2010.02193📄 한 문단 요약DreamerV2는 ICLR 2021에 발표된 Dreamer의 직접 후속으로, 연속 잠재 변수(Gaussian) 대신 32×32 범주형(categorical) 잠재 변수와 KL 균형(KL balancing)을 도입해 이산 행동 공간인 Atari로 확장했다. 단일 GPU에서 200M 환경 스텝, 468억 개의 상상 상태를 학습해 55개 Atari 게임의 게이머 정규화 중간값에서 Rainbow를 능가하고 인간 수준 성능을 달성했다. 연속 제어 전용이었던 Dreame..

논문 Dream to Control: Learning Behaviors by Latent Imagination 저자 Hafner et al. (Google Brain / DeepMind) 학회/연도 ICLR 2020 arXiv 1912.01603📄 한 문단 요약Dreamer는 Google Brain이 ICLR 2020에 발표한 모델 기반 강화학습 알고리즘이다. 핵심 아이디어는 세 단계다: ① RSSM(Recurrent State Space Model)으로 세계 모델을 학습하고, ② 실제 환경 없이 이 세계 모델 안에서 H=15 스텝을 상상(imagination)한 뒤, ③ 상상 궤적을 통해 역전파(backpropagation)로 Actor-Critic을 직접 최적화한다. 덕분에 DeepMind ..