qcoding

논문 Training language models to follow instructions with human feedback 저자 Ouyang et al. (OpenAI) 학회/연도 NeurIPS 2022 arXiv 2203.02155📄 한 문단 요약InstructGPT는 OpenAI가 2022년 발표한 논문으로, GPT-3를 사람의 지시를 잘 따르도록 정렬(alignment)하는 방법을 제시한다. 핵심은 RLHF(Reinforcement Learning from Human Feedback) 3단계 파이프라인이다: ① 사람이 작성한 시범 데이터로 SFT, ② 인간 선호도 비교 데이터로 보상 모델(RM) 훈련, ③ PPO로 LLM을 RM 점수 최대화 방향으로 파인튜닝. 결과적으로 1.3B Ins..

논문 Proximal Policy Optimization Algorithms 저자 Schulman et al. (OpenAI) 학회/연도 arXiv preprint, 2017 arXiv 1707.06347📄 한 문단 요약PPO(Proximal Policy Optimization)는 OpenAI가 2017년 제안한 정책 경사 알고리즘으로, TRPO의 수학적 복잡성(2차 미분, conjugate gradient)을 제거하면서 동일한 "안전한 업데이트 보장"을 단순한 Clip 연산 하나로 대체한다. 정책 비율 r_t = π/π_old를 [1−ε, 1+ε] 범위로 자르는 것만으로 정책이 급격히 변하는 것을 막고, MuJoCo 연속 제어 7개 환경에서 TRPO·A2C·ACKTR를 대부분 능가했다. 구현이..

11. 고급 기법 & 최신 토픽 딥 RL의 실전 적용은 안정성·샘플 효율·확장성·탐험 네 기둥에 달려 있습니다. 이번 장에서는 PPO · SAC를 비롯해 대규모 분산·멀티에이전트·밴디트 탐험 전략까지 최신 흐름을 한눈에 정리합니다.11-1. Proximal Policy Optimization (PPO)아이디어클립 손실 “정책이 한 번에 너무 멀리이동하지 않도록 완충을 두자.” $$\mathcal{L}^{\text{CLIP}}(\theta)= \mathbb{E}\Bigl[ \min\Bigl( r_t(\theta)A_t,\; \text{clip}\!\bigl(r_t(\theta),1\!-\!\epsilon,1\!+\!\eps..