목록강화학습 기초 (5)

qcoding

[강화학습] DDPG (Deep Deterministic Policy Gradient)실습_ContinuosMountainCar(2/2)

** 이번 실습은 앞선 글의 DDPG 이론을 Mountain Car 문제에 적용하는 실습이다. MountainCar 문제 중 Continuos Action Space를 갖는 문제에 대해 적용해 볼 것이다. 이번실습에서 진행하는 코드는 아래의 블로그를 참조하여 만들었으며, Mountain Car에 대한 문제는 이전 블로그를 참고하면 자세히 알 수 있다. https://pasus.tistory.com/138 Tensorflow2로 만든 DDPG 코드: Pendulum-v0 OpenAI Gym에서 제공하는 Pendulum-v0 환경을 대상으로 DDPG 알고리즘을 Tensorflow2 코드로 구현하였다. 학습결과는 다음과 같다. DDPG는 오프-폴리시 방법으로서 온-폴리시인 A2C에 비해서 데이터 효율이 pas..
머신러닝 딥러닝 2023. 3. 15. 21:30
[강화학습] DDPG (Deep Deterministic Policy Gradient) 강화학습 (1/2)_이론

* 이번에 살펴볼 내용은 DDPG에 대한 내용이다. DDPG (Deep Deterministic Policy Gradient)의 약어로 "확정적 Policy"를 사용하는 알고리즘이다. 이번에는 글을 2개로 나누어서 작성할 예정이며, 첫번째는 이론을 살펴보고 두번째로 실습을 진행하려고 한다. * 해당 내용은 아래의 유튜브를 보고 참고하여 작성하였습니다. 고려대학교 오승상 교수님의 유튜브인데 설명을 매우 잘해주셔서 이해가 잘되었습니다. 글에서 나오는 PPT는 교수님께서 올려주신 파일의 일부분을 사용하였습니다. https://www.youtube.com/playlist?list=PLvbUC2Zh5oJtYXow4jawpZJ2xBel6vGhC 오승상 강화학습 Deep Reinforcement Learning 고려..
머신러닝 딥러닝 2023. 3. 11. 13:24
[강화학습]A3C_Continuos Actor_Critic_MountainCar

** 이번 실습은 이전 A2C 실습 중 Continuos A2C를 사용했던 것을 A3C로 변경한 것이다. 기본적인 내용은 Continuos A2C 과 동일하며, A3C로 확장할 수 있게 Global Network와 Local Network 구조를 활용하였다. 2023.02.15 - [머신러닝 딥러닝] - [강화학습]Continuos A2C(연속적 A2C)_mountain Car [강화학습]Continuos A2C(연속적 A2C)_mountain Car * 이번 실습은 Continuos A2C 실습으로 아래의 Mountain Car Continuos 환경에 연속적 A2C알고리즘을 적용해보는 실습을 하였다. https://www.gymlibrary.dev/environments/classic_control/..
머신러닝 딥러닝 2023. 2. 28. 13:55
[강화학습]A3C_Discrete환경_Cartpole_Mountain_car

* 이번 실습은 A3C (Asynchronous Advantage Actor-Critic)에 대한 실습내용이다. 실습의 적용은 Cartpole과 Mountain Car에 적용하였으며, 결론적으로 Cartpole의 환경에서만 문제를 해결하였다. 현재까지 실습을 진행한 알고리즘을 정리하면 - > value_based (dqn) -> Policy_based (Reinforce / TD1step - A2C / TD1step - Continuos A2C ) 이며, Mountain Car 환경이 성공한 것은 off-policy value_based인 dqn 알고리즘이다. Mountain car와 같이 즉각적인 보상이 아닌 goal에 도착했을 때 큰 보상을 얻는 환경의 경우 on-policy알고리즘으로 action을..
머신러닝 딥러닝 2023. 2. 24. 11:32
[강화학습]Dqn_Mountain car_강화학습 예제

https://gymnasium.farama.org/environments/classic_control/mountain_car/ Gymnasium Documentation A standard API for reinforcement learning and a diverse set of reference environments (formerly Gym) gymnasium.farama.org * 이번 실습은 Mountain car로 openai_gym이 제공하는 환경 중 카트폴과 비슷하게 classic 문제로 대표적인 예라고 볼 수 있다. 대부분의 내용은 이전 글과 동일하므로 이전 내용을 참고하면 되며, 여기서는 보상을 어떤식으로 설계를 하였는 지에 대해서 세세하게 살펴볼 예정이다. 2023.01.14 - [..
머신러닝 딥러닝 2023. 1. 29. 13:05
Prev 1 Next