GPT-2/GPT-3 GPT-2,GPT-3는 GPT-1에 이어 OpenAI에서 발표한 GPT-n 시리즈의 후속 모델로, 사용하는 도구 면에서는 크게 달라진 것이 없다. 다만 transformer layter의 크기를 더욱 늘리고 몇가지 추가 하였다. GPT-2 이전처럼 다음 단어를 예측하는 language modeling으로 학습시킨 pre-trainig model이 zero-shot setting으로 down-stream task를 수행할수 있게 되었다. zero-shot setting이란 원하는 task를 위한 별도의 예제를 주지 않고 task에 대한 지시사항만을 모델에 전달하는 것을 말한다. 앞서 본 독해기반 질의응답으로 모든 task를 수행 할 수있다. Dataset으로는 BPE(Byte Pair..

BERT(Bidirectional Encoder Represenation from Transformer) 이해하기 BERT는 다양한 자연어 처리 태스크 분야에서 높은 성능을 보이며, 자연어 처리가 전반적으로 발전하는데 영향을 끼쳤다. BERT는 구글에서 발표한 임베딩 모델이다. BERT는 문맥이 없는 WORD2VEC와 같은 다른 임베딩 모델과 달리 문맥을 고려한 임베딩이다. 문맥을 고려하는게 왜 중요하냐면, 동음이의어나 여러가지 의미를 가진 단어에 유연하게 대응할 수 있기 때문이다. bert는 transformer에서 파생된 구조이기 때문에 transformer내용을 먼저 살펴보고 오자 -> 링크 BERT의 동작 방식 bert는 이름에서 알 수 있듯이 트랜스포머 모델을 기반으로 하며, 인코더-디코더가 있..

GPT-1 GPT 1은 Transformer 구조에서 디코더 부분을 활용한 모델 구조 입니다. 원본 논문 해당 논문에서는 라벨링 되지 않은 텍스트 데이터를 이용하여 모델을 pre-training 시킨 후 특정 task에 맞춤 fine-tunning 하는 방식을 제안합니다. 또한 GPT는 두가지 학습단계 1) Unsupervised pre-training, 2)supervised fine-tunning을 활용하여 모델구조를 최소한으로 변화시키고, fine-tuning 단게에서 과제에 맞는 Input representations을 사용 하였습니다. 여러 실험을 통해 해당 모델은 당시 12개의 task 중 9개에서 SOTA 수준의 성능을 발휘 하였습니다. GPT-1에서는 , , 등 다양한 special tok..

Transformer는 자연어 처리에서 주로 사용하는 딥러닝 아키텍처 중 하나다. 기존 RNN 기반 모델들은 long-term dependency가 있기 때문에, 입력 문장이 길어지면 앞의 과거 정보가 마지막 시점까지 전달되지 못하는 현상이 발생한다. Transformer는 self-attention이라는 특수한 형태의 attention을 사용해 효과적으로 RNN의 한계점을 극복하였다. Transforemr의 구조 트랜스포머의 전체 구조는 위와 같다. 차근차근 알아 보도록 하자. 우선 트랜스포머는 인코더-디코더로 구성된 모델이다. 그림에서 input이 들어가는 박스가 인코더이고 인코더 오른쪽에 있는 박스가 디코더 이다. 인코더와 디코더가 어떻게 작동하는지 이해해보자 ! 트랜스포머의 인코더 이해하기 트랜스..