본 글은 이전 글에서 알아본 How Does Quantization Affect Multilingual LLMs? 논문에서 언급된 LLM 양자화가 라틴 계열 언어(영어, 프랑스어 등) 보다 비 라틴 계열 언어(한국어, 일본어, 중국어 등)에 더 큰 영향을 미친다는 연구 결과를 바탕으로 작성하게 된 글입니다.   실제 LLM 모델을 사용하면서 양자화를 적용하는 경우가 대부분이었고, 어느 정도 성능이 저하되는지 궁금하기도 하여 직접 모델에 양자화를 적용해 보고 생성 결과의 품질에 대해 평가해 보았습니다.  현재 주목받고 있는 모델 중 하나인 gemma2-9b-it 모델을 양자화해보고 한국어에 대해서 얼마나 성능 저하가 일어나는지 알아보겠습니다.     모델 양자화란?  일반적으로 딥러닝 모델은 가중치를 16..