LLM으로 다양한 작업을 처리하기 위해 맞춤형 조정이 필요합니다. 이를 위해 SFT(Supervised Fine-Tuning)이라는 방법을 사용하여 모델의 성능을 개선할 수 있습니다. 이전 글 참고 SFT에는 여러 가지 튜닝 기법이 있으며, 이번 글에서는 Full Fine-Tuning과 Parameter-Efficient Fine-Tuning(PEFT)의 주요 기법인 LoRA와 QLoRA에 대해 알아보겠습니다.     1. Full Fine-Tuning Full Fine-Tuning은 말 그대로 모델의 모든 파라미터를 업데이트하는 방식입니다. 이 기법은 모델의 모든 가중치를 조정하여 특정 작업에 맞게 성능을 개선합니다. 전체 모델을 조정하기 때문에 메모리와 계산 자원이 많이 요구됩니다. 일반적인 딥러닝 ..

서론LLM은 인간과 유사한 자연어 처리 능력을 가지지만, 특정 도메인이나 작업에 최적화된 성능을 발휘하기 위해서는 추가적인 학습이 필요합니다.이때 사용되는 기법이 SFT(Supervised Fine-Tuning)입니다. SFT는 방대한 양의 테스트 데이터를 기반으로 비지도 학습된 Base LLM이 가지는 언어 이해 능력을 특정 작업에 활용할 수 있도록 특화시켜 줍니다. SFT를 통해 모델을 처음부터 학습시키는 것보다 훨씬 적은 데이터와 계산 자원으로도 만족할 만한 결과를 얻을 수 있습니다. 특히 gpt와 같은 LLM의 경우, 전체 데이터를 사용하여야 재학습하는 것은 계산적으로 비효율적이기 때문에 fine-tuning 기법은 매우 중요합니다. SFT의 필요성사전 훈련된 모델은 일반적인 언어 이해와 생성 능..

본 글은 데이콘에서 주관한 도배 하자 질의응답 처리 대회 참여 후기이다. 팀원 1명을 포함해 2명이서 대회에 참가했고, 대회 시작은 1월부터였지만, 제대로 참여한 건 3월 쯔음부터 시작한 거 같다.     대회 개요 해당 대회는 한솔데코에서 주최한 대회로, NLP(자연어 처리) 기반의 QA (질문-응답) 시스템을 통해 도배하자와 관련된 깊이 있는 질의응답 처리 능력을 갖춘 AI 모델 개발을 목표로 하고 있다. 아래 사이트에서 활용하는 LLM을 개발하고자 하는 것 같았다.소소하자 lab Chat UI Screen마감재 하자 (벽지, 마루, 타일, 시트지!!) 관련해서 뭐든지 물어보세요!sosohajalab.pages.dev   데이터 train데이터와 test 데이터를 살펴보면 train 데이터는 데이터 ..