CNN CNN은 아래 사진 처럼 convolution 과정과 Pooling 과정을 반복 한후 Fully connected layer를 통해서 데이터를 출력 합니다. pytorch에서 conolution과 pooling 과정을 어떻게 적용하는지 알아보겠습니다. Convolution Layers pytorch에서는 Convolutoin연산을 위해 Conv2d를 많이 사용합니다. Conv2d의 파라미터에대해 알아 보겠습니다. Parameters in_channels (int) : input 이미지 채널 수 out_channels (int) : ouput 데이터의 채널 수 kernel_size (int or tuple) : kenrl의 사이즈 stride (int or tuple, optional) : Stri..

Tranformer를 이용한 한-영 번역 모델 입니다. Ai hub의 기계독해 데이터 사용(한-영 번역) 하였습니다. 모델 성능을 끌어 올리기 보다는 단순히 모델을 이해하고 활용해보기 위해 작성한 코드입니다. 코드는 나동빈님의 깃허브에서 많은 부분을 참고하였습니다. 코드시작 데이터 불러오기 import pandas as pd from glob import glob data = glob('./한영번역/*.xlsx') data ['./한영번역/5_문어체_조례.xlsx', './한영번역/2_대화체.xlsx', './한영번역/1_구어체(2).xlsx', './한영번역/1_구어체(1).xlsx', './한영번역/3_문어체_뉴스(2).xlsx', './한영번역/3_문어체_뉴스(3).xlsx', './한영번역/3_문..

Basic of RNN RNN은 기본적으로 동일한 모듈을 중심에 두고 input이 시간에 따라 변화하면서 들어가게 된다. 모듈 내에서 곱해지는 가중치가 시간에 따라 변하지 않는다는 점을 기억하도록 하자. 내부에서 출력과 직접적인 연관이 있는 hidden state의 값은 시간에따라 변화한다. hidden state는 과거의 정보를 기억 하는 역할을 한다. RNN의 동작 과정 RNN의 동작 과정에 대해 살펴보자. 위의 예시처럼 반복적으로 활용되는 가중치 $W$가 RNN이라고 할 수 있으며, 해당 값은 아래 수식으로 표현될 수 있다. $f_w$를 쪼개면 다음과 같이 표현 할 수 있다. hidden state vecot가 가지는 차원 수는 hyper parameter로 우리가 직접 정해야 한다. 앞서 말했듯이..