BART BART는 페이스북에서 개발한 모델 아키텍쳐이다. BART는 트랜스포머 아키텍쳐를 기반으로한다. BART는 본질적으로 노이즈 제거 오토 인코더(denoising autoencoder)다. 손상된 텍스트를 재구성하며 학습을 진행한다. BERT와 마찬가지로 사전 학습된 BART를 사요하고 여러 다운스트림 태스크에 맞추 ㅓ파인튜닝할 수 있다. BART는 텍스트 생성에 가장 적합하다. 또한 언어 번역 및 이해와 같은 다른 태스크에도 사용된다. BART 아키텍쳐 BART는 본질적으로 이놐더와 디코더가 있는 트랜스포머 모델이다. 손상된 텍스트를 인코더에 입력하고 인코더는 주어진 텍슽의 표현을 학습시키고 그 표현을 디코더로 보낸다. 디코더는 인코더가 생성한 표현을 가져와 손상되지 않은 원본 텍스트를 재구성 ..

XLM(cross-lingual language model) 다국어를 목표로 사전 학습 시킨 BERT를 교차 언어 모델(XLM)이라고 한다. XLM은 단일 언어 및 병렬 데이터셋을 사용해 사전 학습된다. 병렬 데이터셋은 언어 쌍의 텍스트로 구성된다. 즉 ,2개의 다른 언어로 된 동일한 텍스트로 구성된다. 예를 들어 영어 문장이 있다고 가정하면 프랑스어처럼 다른 언어로 된 문장이 동시에 있다. 이 병렬 데이터셋을 교차 언어 데이터셋이라고 한다. 또한 XLM은 바이트 쌍 인코딩(BPE)를 사용하고 모든 언어에서 공유된 어휘를 사용한다. XLM의 사전 학습 전략 XLM은 다음을 사용해 사전 학습한다. 인과 언어 모델링(CLM) 마스크 언어 모델링(MLM) 번역 언어 모델링(TLM) CLM(causal lang..

BERTSUM BERTSUM이란 텍스트 요약에 맞춰 파인 튜닝된 BERT 모델이다. 텍스트 요약 텍스트 요약에는 2가지 유형이 있다. 추출 요약 생성 요약 추출 요약 추출 요약은 주어진 텍스트에서 중요한 문장만 추출해 요약하는 과정을 의미한다. 즉, 많은 문장이 포함된 긴 문서에서 문서의 본질적인 의미를 담고 있는 중요한 문장만 추출해 문서의 요약을 생성하는 것이다. BERT를 활용한 추출 요약 busan is beautiful city.와 i love korea라는 문장이 있다고 가정해보자. 입력 문장을 토큰 형태로 변경 첫 문장의 시작 부분에만 [CLS] 토큰 추가 문장의 마지막 부분에 [SEP] 토큰 추가 이것을 토큰 임베딩, 세그먼트 임베딩, 위치 임베딩 이렇게 3개의 임베딩 레이어 형태로 변환한..

ROUGE 평가 지표 이해하기 텍스트 요약 태스크를 평가하는 데는 ROUGE(Recall-Oriented Understudy for Gisting Evaluation)를 이용한다. ROUGE는 5개의 평가 지표가 있다. ROUGE-N ROUGE-L ROUGE-W ROUGE-S ROUGE-SU 자주 쓰이는 ROUGE-N과 ROUGE-L에 대해 알아보자. ROUGE-N 메트릭 이해하기 ROUGE-N은 예측한 요약문과 실제 요약문 간의 n-gram의 recall이다. 재현율은 예측한 요약 결과와 실제 요약 사이의 서로 겹치는 n-gram의 총 수와 실제 요약의 n-gram의 총 수의 비율로 정의 된다. $재현율 = \frac{서로 겹치는 n-gram수}{참조 요약의 n-gram 수}$ ROUGE-1 ROUGE..

ELECTRA(Efficiently Learning an Encoder that Classifies Token Replacments Accurately) ECECTRA는 BERT의 파생 모델 중 하나이다. BERT의 경우 MLM과 NSP 태스크를 사용해 사전 학습을 진행한다. MLM 태스크는 전체 토큰의 15%를 무작위로 마스킹한 후 해당 토큰을 예측하는 방식으로 진행한다. MLM 태스크를 사전 학습에 사용하는 대신 ELECTRA는 replaced toekn detection라는 태스크를 사용해 학습을 진행한다. replaced toekn detection는 마스킹 대상인 토큰을 다른 토큰으로 변경한 후 이 토큰이 실제 토큰인지 아니면 교체한 토큰인지를 판별하는 형태로 학습을 진행한다. 그렇다면 MLM ..

Roberta(Robustly Optimized Bert pre-training Approach) Roberta는 bert의 파생 모델 중 하나다. RoBERTa는 기본적으로 BERT와 동일하며, 사전 학습 시 아래 항목을 변경하였다. MLM 태스크에서 정적 마스킹이 아닌 동적 마스킹 방법 적용 NSP태스크를 제거하고 MLM 태스크만 학습에 사용 배치 크기를 증가해 학습 토크나이저로 BBPE(byte-level BPE) 사용 위 내용에 대해 자세히 알아보자 정적 마스크 대신 동적 마스크 사용 BERT의 MLM 태스크는 주어진 토큰의 15% 확률로 무작위로 마스크된 토큰으로 변경한 후 모델에서 해당 토큰을 예측한다. 예를들어 '우리는 아침 6시에 출근을 한다` 라는 문장이 있을때, 토크나이징 적용후 [CL..