qcoding

논문 Training language models to follow instructions with human feedback 저자 Ouyang et al. (OpenAI) 학회/연도 NeurIPS 2022 arXiv 2203.02155📄 한 문단 요약InstructGPT는 OpenAI가 2022년 발표한 논문으로, GPT-3를 사람의 지시를 잘 따르도록 정렬(alignment)하는 방법을 제시한다. 핵심은 RLHF(Reinforcement Learning from Human Feedback) 3단계 파이프라인이다: ① 사람이 작성한 시범 데이터로 SFT, ② 인간 선호도 비교 데이터로 보상 모델(RM) 훈련, ③ PPO로 LLM을 RM 점수 최대화 방향으로 파인튜닝. 결과적으로 1.3B Ins..

논문 Proximal Policy Optimization Algorithms 저자 Schulman et al. (OpenAI) 학회/연도 arXiv preprint, 2017 arXiv 1707.06347📄 한 문단 요약PPO(Proximal Policy Optimization)는 OpenAI가 2017년 제안한 정책 경사 알고리즘으로, TRPO의 수학적 복잡성(2차 미분, conjugate gradient)을 제거하면서 동일한 "안전한 업데이트 보장"을 단순한 Clip 연산 하나로 대체한다. 정책 비율 r_t = π/π_old를 [1−ε, 1+ε] 범위로 자르는 것만으로 정책이 급격히 변하는 것을 막고, MuJoCo 연속 제어 7개 환경에서 TRPO·A2C·ACKTR를 대부분 능가했다. 구현이..

* 이번에 진행할 학습은 Policy Gradient 방법의 기본적인 Reinforce 알고리즘을 통해 Cartpole 문제를 해결하는 것이다. 이번글에서 정리할 주된 내용은 Policy Gradient를 구현하고, Catpole 문제를 해결하는 코드와 Mountain Car 문제에 적용하였을 때, 문제가 해결되지 않았는 데 그 이유를 한번 고민해보는 과정이다. 카트폴에 대한 문제 이해는 이전에 썻던 글을 참고 하면 도움이 될 것 같다. 2023.01.14 - [머신러닝 딥러닝] - [강화학습]Cartpole(카트폴) Deep Q-learning (Dqn) 실습 [강화학습]Cartpole(카트폴) Deep Q-learning (Dqn) 실습 [Deep Q-learning] * 이번실습은 강화학습 실습으로..

[Deep Q-learning] * 이번실습은 강화학습 실습으로 유명한 Carpole 을 deep q-learning으로 구현해보는 실습을 진행하였다. DQN은 미래에 받을 가치와 현재 가치의 차이를 줄이면 현재의 가치를 최적의 상태로 만들 수 있다는 것을 목표로 기존 강화학습 알고리즘에서 사용하는 q-table을 인공신경망으로 대체 한 것이다. 위와 같이 q-network가 신경망으로 되어있는 데, state를 입력으로 받아 행동가치함수 (q_value)를 출력으로 생성한다. 여기서 state_t 와 state_t+1을 각 입력으로 넣은 Q-network 와 target Q-netwrok의 output인 q_value의 차이를 줄이게 parameter를 학습하여 해당 state에서 행동가치가 가장 높은..