qcoding

논문 Training language models to follow instructions with human feedback 저자 Ouyang et al. (OpenAI) 학회/연도 NeurIPS 2022 arXiv 2203.02155📄 한 문단 요약InstructGPT는 OpenAI가 2022년 발표한 논문으로, GPT-3를 사람의 지시를 잘 따르도록 정렬(alignment)하는 방법을 제시한다. 핵심은 RLHF(Reinforcement Learning from Human Feedback) 3단계 파이프라인이다: ① 사람이 작성한 시범 데이터로 SFT, ② 인간 선호도 비교 데이터로 보상 모델(RM) 훈련, ③ PPO로 LLM을 RM 점수 최대화 방향으로 파인튜닝. 결과적으로 1.3B Ins..