분류 전체보기

개요요즘 AI 기술이 정말 눈 깜짝할 새에 발전하고 있습니다. 특히 딥러닝이나 머신러닝 작업을 하려면 GPU가 필수인데, 개인 장비를 마련하기에는 비용이 만만치 않습니다. 오늘은 Google Cloud Platform(GCP)을 활용해 무료로 GPU 서버를 생성하는 방법을 소개해드리고자 합니다. GCP는 신규 사용자에게 $300 상당의 크레딧을 제공하기 때문에 초기 비용 없이도 충분히 시작해볼 수 있습니다.  1. GCP 계정 생성하기먼저 GCP를 사용하려면 Google 계정이 필요합니다. 이미 Gmail을 사용하고 계시다면 그 계정으로 바로 로그인하면 되고, 없다면 Google Cloud 홈페이지에 접속해 “무료로 시작하기” 버튼을 눌러 계정을 생성하시면 됩니다.계정 생성 후에는 무료 평가판(Free ..

문제https://leetcode.com/explore/interview/card/top-interview-questions-medium/109/backtracking/793/ 문제 설명주어진 문자열 digits는 2부터 9까지의 숫자로 이루어져 있으며, 숫자는 전화기 버튼에 대응하는 문자로 매핑됩니다.문자열 digits가 나타낼 수 있는 모든 문자 조합을 반환하세요.  반환되는 순서는 상관없습니다. 예시예제 1입력: digits = "23"출력: ["ad", "ae", "af", "bd", "be", "bf", "cd", "ce", "cf"]예제 2입력: digits = ""출력: []예제 3입력: digits = "2"출력: ["a", "b", "c"]  풀이해당 문제는 백트래킹(Backtrackin..

문제https://leetcode.com/explore/interview/card/top-interview-questions-medium/103/array-and-strings/778/ 문제 설명문자열 배열 strs가 주어질 때, 애너그램(anagram) 들을 그룹으로 묶어서 반환하세요. 반환되는 결과의 순서는 상관없습니다.애너그램이란?애너그램은 주어진 문자열의 문자를 재배열하여 다른 문자열을 만들 수 있는 경우를 말합니다.예를 들어:"eat", "tea", "ate"는 서로 애너그램입니다."tan"과 "nat"도 서로 애너그램입니다."bat"는 애너그램이 없는 단독 그룹입니다. 예제입력 및 출력 예시예제 1:입력: strs = ["eat", "tea", "tan", "ate", "nat", "bat"]..

문제https://leetcode.com/explore/interview/card/top-interview-questions-medium/103/array-and-strings/776/문제 설명정수 배열 nums가 주어질 때, 다음 조건을 만족하는 모든 세 숫자 조합 [nums[i], nums[j], nums[k]]을 반환하세요i != j, i != k, j != k (즉, 세 숫자의 인덱스가 모두 달라야 합니다.)nums[i] + nums[j] + nums[k] = 0 (세 숫자의 합이 0이어야 합니다.)주의: 결과 집합에는 중복된 세 숫자 조합이 포함되지 않아야 합니다.예제예제 1:입력: nums = [-1, 0, 1, 2, -1, -4]출력: [[-1, -1, 2], [-1, 0, 1]]설명:( n..

개요 ChatGPT가 세상에 나온 이후로 정말 눈 깜짝할 새에 빠르고 정확하고, 심지어 이미지나 음성까지 다루는 멀티모달 모델들이 쏟아져 나오고 있습니다. 특히 2024년에는 상용 LLM(ex. chatgpt)과 오픈소스 LLM(ex. llama)이 서로 경쟁하면서 정말 놀라운 발전을 보여주고 있습니다.하지만 이렇게 뛰어난 LLM을 실제 서비스에 활용하려면 넘어야 할 산이 있습니다. 그중 하나가 바로 '속도' 문제입니다. gemma2 9B처럼 중간 크기의 LLM도 일반적인 환경에서는 응답을 받는 데 수십 초씩 걸릴 정도로 느립니다. 이렇게 느린 속도는 사용자 경험에 부정적인 영향을 미칠 수 있기 때문에 LLM을 효율적으로 서비스하는 기술이 매우 중요해졌습니다. 그래서 이 글에서는 vLLM과 Triton ..

서론최근 AI 모델의 발전으로 인해 대규모 언어 모델(LLM)이 다양한 산업과 응용 분야에서 활용되고 있습니다.하지만 LLM은 고용량 GPU 메모리와 높은 연산 자원을 요구하며, 이러한 자원 소모는 실무 및 서비스에 적용할 때 큰 제약으로 작용합니다. 이 문제를 해결하기 위해 양자화(Quantization)는 중요한 해결책으로 주목받고 있습니다.양자화는 모델의 성능 저하를 최소화하면서 메모리 사용량을 줄이고 추론 속도를 높이는 데 기여합니다.본 글에서는 양자화가 모델 성능에 미치는 영향을 심층적으로 탐구하고, Bitsandbytes, AWQ, GPTQ의 세 가지 대표적인 양자화 기법을 비교 분석합니다.  모델 양자화란 무엇인가?양자화는 모델의 파라미터를 고정밀도의 부동소수점(FP16 또는 FP32)에서 ..