qcoding

논문 Proximal Policy Optimization Algorithms 저자 Schulman et al. (OpenAI) 학회/연도 arXiv preprint, 2017 arXiv 1707.06347📄 한 문단 요약PPO(Proximal Policy Optimization)는 OpenAI가 2017년 제안한 정책 경사 알고리즘으로, TRPO의 수학적 복잡성(2차 미분, conjugate gradient)을 제거하면서 동일한 "안전한 업데이트 보장"을 단순한 Clip 연산 하나로 대체한다. 정책 비율 r_t = π/π_old를 [1−ε, 1+ε] 범위로 자르는 것만으로 정책이 급격히 변하는 것을 막고, MuJoCo 연속 제어 7개 환경에서 TRPO·A2C·ACKTR를 대부분 능가했다. 구현이..