qcoding

* 이번 실습에서는 Actor-Critic 알고리즘을 통해 Mountain Car 문제를 해결해 보는 시간으로 Reinforce 알고리즘을 통해 Mountain Car 문제가 해결되지 않았으므로 이방법을 통해서 해결이 가능한 지 확인해 보는 Policy Based의 연장선이다. Actor-critc은 value / policy 학습을 둘 다 진행하는 것으로 인공신경망을 통해 가치함수와 정책함수를 둘다 근사하는 것이 특징이다. * 결론부터 말하면 Cartpole은 잘되지만, 역시나 Mountain Car은 잘되지 않았다. 이번실습은 아래와 같은 순서로 진행된다. 1. A2C 에 대한 간략한 이론 2. A2C의 알고리즘 구조 3. A2C CartPole / Mountain car 코드 및 리뷰 4. 평가결과..

* 이번에 진행할 학습은 Policy Gradient 방법의 기본적인 Reinforce 알고리즘을 통해 Cartpole 문제를 해결하는 것이다. 이번글에서 정리할 주된 내용은 Policy Gradient를 구현하고, Catpole 문제를 해결하는 코드와 Mountain Car 문제에 적용하였을 때, 문제가 해결되지 않았는 데 그 이유를 한번 고민해보는 과정이다. 카트폴에 대한 문제 이해는 이전에 썻던 글을 참고 하면 도움이 될 것 같다. 2023.01.14 - [머신러닝 딥러닝] - [강화학습]Cartpole(카트폴) Deep Q-learning (Dqn) 실습 [강화학습]Cartpole(카트폴) Deep Q-learning (Dqn) 실습 [Deep Q-learning] * 이번실습은 강화학습 실습으로..

https://gymnasium.farama.org/environments/classic_control/mountain_car/ Gymnasium Documentation A standard API for reinforcement learning and a diverse set of reference environments (formerly Gym) gymnasium.farama.org * 이번 실습은 Mountain car로 openai_gym이 제공하는 환경 중 카트폴과 비슷하게 classic 문제로 대표적인 예라고 볼 수 있다. 대부분의 내용은 이전 글과 동일하므로 이전 내용을 참고하면 되며, 여기서는 보상을 어떤식으로 설계를 하였는 지에 대해서 세세하게 살펴볼 예정이다. 2023.01.14 - [..

[Deep Q-learning] * 이번실습은 강화학습 실습으로 유명한 Carpole 을 deep q-learning으로 구현해보는 실습을 진행하였다. DQN은 미래에 받을 가치와 현재 가치의 차이를 줄이면 현재의 가치를 최적의 상태로 만들 수 있다는 것을 목표로 기존 강화학습 알고리즘에서 사용하는 q-table을 인공신경망으로 대체 한 것이다. 위와 같이 q-network가 신경망으로 되어있는 데, state를 입력으로 받아 행동가치함수 (q_value)를 출력으로 생성한다. 여기서 state_t 와 state_t+1을 각 입력으로 넣은 Q-network 와 target Q-netwrok의 output인 q_value의 차이를 줄이게 parameter를 학습하여 해당 state에서 행동가치가 가장 높은..

** 이번실습은 CNN을 활용한 Class Activation Map을 만들어 보는 실습이다. CAM은 CNN으로 분류 문제를 풀 때 이미지에서 어떤 feature가 예측에 영향을 주는 지 시각화할 수 있는 방법이다. 기존에 CNN 활용 시 Feature 추출 후 예측을 위해 Fully connected layer 부분 대신 Global Avg 풀링으로 Convolution layer 부분에서 추출한 feature map과 마지막 예측에 사용된 weight를 곱해서 이미지를 시각화 하는 것이다. 실습은 크게 아래와 같은 순서로 진행된다. 1) 데이터 셋팅 ( 강아지 고양이 데이터 set을 사용한다.) 2) CNN 모델 생성 (VGG16 전이학습 사용) 3) Class Activation Map 생성 1)..

https://www.kaggle.com/datasets/alxmamaev/flowers-recognition Flowers Recognition This dataset contains labeled 4242 images of flowers. www.kaggle.com ## 이번 실습은 CNN으로 이미지의 Feature 추출 한 후 제시된 이미지와 비슷한 특징을 갖는 이미지를 dataset에서 불러오는 실습을 진행하려고 한다. 이번 실습을 이해하기 위하여 간략히 내용을 정리한뒤 본격적으로 실습을 진행해보려고 한다. 1) 실습에 필요한 내용을 간략히 정리하기 2) VGG16 의 Convolution layer를 이용한 추출 모델 생성 후 추출된 모델을 바탕으로 가지고 있는 모든 data set을 거리기반 ..

https://www.kaggle.com/datasets/tongpython/cat-and-dog Cat and Dog Cats and Dogs dataset to train a DL model www.kaggle.com ## 이미지 분류의 대표적인 강아지 / 고양이 분류 문제를 VGG16의 전이학습을 통해서 구현해보는 실습을 진행하려고 한다. 진행순서는 아래와 같으며, kaggle 데이터 set을 활용하며, google drive와 colab을 사용하여 실습예정이다. 1) 데이터 set 다운로드 후 google drive upload --> colab에서 구글드라이브 연동 후 불러오기 2) 전체 이미지를 numpy array로 만들기 3) 이미지 시각화 4) 이미지 전처리 ( scaling / Augm..

## Kaggle https://www.kaggle.com/datasets/aljarah/xAPI-Edu-Data Students' Academic Performance Dataset xAPI-Educational Mining Dataset www.kaggle.com ### 각 columns에 대한 정보 gender: 학생의 성별 (M: 남성, F: 여성) NationaliTy: 학생의 국적 PlaceofBirth: 학생이 태어난 국가 StageID: 학생이 다니는 학교 (초,중,고) GradeID: 학생이 속한 성적 등급 SectionID: 학생이 속한 반 이름 Topic: 수강한 과목 Semester: 수강한 학기 (1학기/2학기) Relation: 주 보호자와 학생의 관계 raisedhands: 학..