.GGUF 파일 확장자
GGML Universal Format 파일
| 개발사 | ggml-org |
| 인기도 |
4.0 | 2 표 |
GGUF 파일이란 무엇인가요?
GGUF 파일은 GGML Universal Format(GGUF)을 사용해 대규모 언어 모델(LLM) 및 기타 AI 모델을 저장하는 머신 러닝 모델 파일입니다. 모델 가중치, 토크나이저 데이터, 구성 정보, 메타데이터 등이 포함될 수 있는, 모델을 실행하는 데 필요한 정보를 하나의 파일로 묶습니다. GGUF 형식은 llama.cpp 생태계를 위해 도입되었으며 Hugging Face와 같은 모델 저장소를 통해 흔히 배포됩니다.
추가 정보
GGUF 파일은 AI 모델을 더 쉽게 배포하고 로컬에서 실행할 수 있도록 설계되었습니다. 이 형식은 llama.cpp를 비롯해 해당 기술을 기반으로 만들어진 소프트웨어 등 모델 추론을 수행하는 도구에서 널리 사용됩니다. 개발자, 연구자, 취미로 작업하는 사용자, 로컬 AI 어시스턴트를 실행하는 사용자는 데스크톱, 노트북 및 기타 장치에 모델을 배포할 때 GGUF 파일을 사용할 수 있습니다.
많은 GGUF 파일에는 양자화된 모델 데이터가 포함되어 있어 메모리 사용량을 줄이고 소비자용 하드웨어에서 모델을 더 효율적으로 실행할 수 있습니다. 동시에 모델 품질과 하드웨어 요구 사항 사이에서 실용적인 균형을 유지합니다. 모델 가중치, 토크나이저 파일, 구성 파일을 여러 구성 요소로 분리하는 형식과 달리 GGUF는 이러한 리소스를 하나의 컨테이너에 함께 저장합니다. 또한 이 형식은 메타데이터와 모델 데이터를 저장하는 다양한 방법을 지원하므로 소프트웨어가 모델 정보를 읽고 모델 데이터를 효율적으로 불러올 수 있습니다.
참고: GGUF는 이전의 GGML 관련 형식을 대체했으며 로컬 AI 추론 작업 흐름에서 널리 사용되는 배포 형식이 되었습니다.
GGUF 파일을 여는 방법
llama.cpp 및 LM Studio와 같이 이 형식을 지원하는 소프트웨어로 GGUF 파일을 열고 사용할 수 있습니다. 많은 사용자가 Hugging Face에서 GGUF 모델을 다운로드한 다음 로컬 AI 도구에 불러와 추론에 사용합니다.
예를 들어 llama.cpp로 GGUF 파일을 열려면 llama.cpp 명령줄 도구를 실행하고 -m 옵션을 사용해 모델 파일을 전달합니다. 예를 들면 ./llama-cli -m model.gguf -p "your prompt"와 같습니다. 프로그램은 런타임에 GGUF 모델을 불러오고, 문서처럼 파일을 직접 여는 대신 입력 프롬프트를 바탕으로 응답을 생성하는 데 모델을 사용합니다.