qcoding

* 이번 실습은 A3C (Asynchronous Advantage Actor-Critic)에 대한 실습내용이다. 실습의 적용은 Cartpole과 Mountain Car에 적용하였으며, 결론적으로 Cartpole의 환경에서만 문제를 해결하였다. 현재까지 실습을 진행한 알고리즘을 정리하면 - > value_based (dqn) -> Policy_based (Reinforce / TD1step - A2C / TD1step - Continuos A2C ) 이며, Mountain Car 환경이 성공한 것은 off-policy value_based인 dqn 알고리즘이다. Mountain car와 같이 즉각적인 보상이 아닌 goal에 도착했을 때 큰 보상을 얻는 환경의 경우 on-policy알고리즘으로 action을..

* 이번 실습에서는 Actor-Critic 알고리즘을 통해 Mountain Car 문제를 해결해 보는 시간으로 Reinforce 알고리즘을 통해 Mountain Car 문제가 해결되지 않았으므로 이방법을 통해서 해결이 가능한 지 확인해 보는 Policy Based의 연장선이다. Actor-critc은 value / policy 학습을 둘 다 진행하는 것으로 인공신경망을 통해 가치함수와 정책함수를 둘다 근사하는 것이 특징이다. * 결론부터 말하면 Cartpole은 잘되지만, 역시나 Mountain Car은 잘되지 않았다. 이번실습은 아래와 같은 순서로 진행된다. 1. A2C 에 대한 간략한 이론 2. A2C의 알고리즘 구조 3. A2C CartPole / Mountain car 코드 및 리뷰 4. 평가결과..

* 이번에 진행할 학습은 Policy Gradient 방법의 기본적인 Reinforce 알고리즘을 통해 Cartpole 문제를 해결하는 것이다. 이번글에서 정리할 주된 내용은 Policy Gradient를 구현하고, Catpole 문제를 해결하는 코드와 Mountain Car 문제에 적용하였을 때, 문제가 해결되지 않았는 데 그 이유를 한번 고민해보는 과정이다. 카트폴에 대한 문제 이해는 이전에 썻던 글을 참고 하면 도움이 될 것 같다. 2023.01.14 - [머신러닝 딥러닝] - [강화학습]Cartpole(카트폴) Deep Q-learning (Dqn) 실습 [강화학습]Cartpole(카트폴) Deep Q-learning (Dqn) 실습 [Deep Q-learning] * 이번실습은 강화학습 실습으로..

[Deep Q-learning] * 이번실습은 강화학습 실습으로 유명한 Carpole 을 deep q-learning으로 구현해보는 실습을 진행하였다. DQN은 미래에 받을 가치와 현재 가치의 차이를 줄이면 현재의 가치를 최적의 상태로 만들 수 있다는 것을 목표로 기존 강화학습 알고리즘에서 사용하는 q-table을 인공신경망으로 대체 한 것이다. 위와 같이 q-network가 신경망으로 되어있는 데, state를 입력으로 받아 행동가치함수 (q_value)를 출력으로 생성한다. 여기서 state_t 와 state_t+1을 각 입력으로 넣은 Q-network 와 target Q-netwrok의 output인 q_value의 차이를 줄이게 parameter를 학습하여 해당 state에서 행동가치가 가장 높은..