XLM(cross-lingual language model) 다국어를 목표로 사전 학습 시킨 BERT를 교차 언어 모델(XLM)이라고 한다. XLM은 단일 언어 및 병렬 데이터셋을 사용해 사전 학습된다. 병렬 데이터셋은 언어 쌍의 텍스트로 구성된다. 즉 ,2개의 다른 언어로 된 동일한 텍스트로 구성된다. 예를 들어 영어 문장이 있다고 가정하면 프랑스어처럼 다른 언어로 된 문장이 동시에 있다. 이 병렬 데이터셋을 교차 언어 데이터셋이라고 한다. 또한 XLM은 바이트 쌍 인코딩(BPE)를 사용하고 모든 언어에서 공유된 어휘를 사용한다. XLM의 사전 학습 전략 XLM은 다음을 사용해 사전 학습한다. 인과 언어 모델링(CLM) 마스크 언어 모델링(MLM) 번역 언어 모델링(TLM) CLM(causal lang..