.GGUF Rozszerzenie pliku
Plik formatu uniwersalnego GGML
| Deweloper | ggml-org |
| Popularność |
4,0 | 2 Głosy |
Czym jest plik GGUF?
Plik GGUF to plik modelu uczenia maszynowego, który przechowuje duże modele językowe (LLM) i inne modele AI przy użyciu formatu GGML Universal Format (GGUF). Pakuje informacje potrzebne do uruchomienia modelu w jednym pliku, który może zawierać wagi modelu, dane tokenizatora, informacje o konfiguracji i metadane. Format GGUF został wprowadzony na potrzeby ekosystemu llama.cpp i jest często rozpowszechniany za pośrednictwem repozytoriów modeli, takich jak Hugging Face.
Więcej informacji
Pliki GGUF zaprojektowano tak, aby ułatwić rozpowszechnianie modeli AI i uruchamianie ich lokalnie. Format jest powszechnie używany przez narzędzia wykonujące wnioskowanie modelu, w tym llama.cpp i oprogramowanie oparte na tej technologii. Deweloperzy, badacze, hobbystyczni użytkownicy oraz osoby uruchamiające lokalnych asystentów AI mogą korzystać z plików GGUF do wdrażania modeli na komputerach stacjonarnych, laptopach i innych urządzeniach.
Wiele plików GGUF zawiera skwantyzowane dane modelu, co zmniejsza zużycie pamięci i pozwala modelom działać wydajniej na sprzęcie konsumenckim, zachowując praktyczny kompromis między jakością modelu a wymaganiami sprzętowymi. W przeciwieństwie do formatów, które rozdzielają wagi modelu, pliki tokenizatora i pliki konfiguracji na wiele składników, GGUF przechowuje te zasoby razem w jednym kontenerze. Format obsługuje także metadane i różne metody przechowywania danych modelu, dzięki czemu oprogramowanie może odczytywać informacje o modelu i wydajnie ładować dane modelu.
UWAGA: GGUF zastąpił wcześniejsze formaty związane z GGML i stał się powszechnym formatem dystrybucji na potrzeby lokalnego wnioskowania AI.
Jak otworzyć plik GGUF
Plik GGUF można otwierać i używać za pomocą oprogramowania obsługującego ten format, takiego jak llama.cpp i LM Studio. Wielu użytkowników pobiera modele GGUF z serwisu Hugging Face i ładuje je do lokalnych narzędzi AI w celu wykonywania wnioskowania.
Aby na przykład otworzyć plik GGUF za pomocą llama.cpp, uruchom narzędzie llama.cpp wiersza poleceń i przekaż plik modelu za pomocą opcji -m, na przykład ./llama-cli -m model.gguf -p "your prompt". Program ładuje model GGUF w czasie działania i używa go do generowania odpowiedzi na podstawie podanego polecenia, zamiast otwierać plik bezpośrednio jak dokument.