.GGUF Dateiendung
GGML-Universalformat-Datei
| Entwickler | ggml-org |
| Beliebtheit |
4,0 | 2 Stimmen |
Was ist eine GGUF-Datei?
Eine GGUF-Datei ist eine Datei für maschinelle Lernmodelle, in der große Sprachmodelle (LLMs) und andere KI-Modelle im GGML-Universalformat (GGUF) gespeichert werden. Sie bündelt die zum Ausführen eines Modells benötigten Informationen in einer einzigen Datei. Dazu können Modellgewichte, Tokenizer-Daten, Konfigurationsinformationen und Metadaten gehören. Das GGUF-Format wurde für das llama.cpp-Ökosystem eingeführt und wird häufig über Modell-Repositories wie Hugging Face verbreitet.
Weitere Informationen
GGUF-Dateien sollen die Verteilung und lokale Ausführung von KI-Modellen erleichtern. Das Format wird häufig mit Werkzeugen verwendet, die eine Modellinferenz durchführen, darunter llama.cpp und Software, die auf dieser Technologie basiert. Entwickler, Forschende, Hobbyanwender und Nutzer lokaler KI-Assistenten können GGUF-Dateien verwenden, um Modelle auf Desktop-Computern, Laptops und anderen Geräten bereitzustellen.
Viele GGUF-Dateien enthalten quantisierte Modelldaten. Dadurch wird der Speicherbedarf reduziert und die effizientere Ausführung von Modellen auf Verbraucherhardware ermöglicht, während ein praktisches Gleichgewicht zwischen Modellqualität und Hardwareanforderungen erhalten bleibt. Anders als Formate, die Modellgewichte, Tokenizer-Dateien und Konfigurationsdateien in mehrere Komponenten aufteilen, speichert GGUF diese Ressourcen gemeinsam in einem einzigen Container. Das Format unterstützt außerdem Metadaten und verschiedene Methoden zum Speichern von Modelldaten. Dadurch kann Software Modellinformationen lesen und Modelldaten effizient laden.
HINWEIS: GGUF hat frühere GGML-bezogene Formate ersetzt und sich zu einem gängigen Verteilungsformat für lokale KI-Inferenz-Workflows entwickelt.
So öffnen Sie eine GGUF-Datei
Sie können eine GGUF-Datei mit Software öffnen und verwenden, die das Format unterstützt, beispielsweise llama.cpp und LM Studio. Viele Nutzer laden GGUF-Modelle von Hugging Face herunter und laden sie in lokale KI-Werkzeuge, um Inferenzen durchzuführen.
Um beispielsweise eine GGUF-Datei mit llama.cpp zu öffnen, führen Sie das Befehlszeilen-Werkzeug von llama.cpp aus und übergeben die Modelldatei mit der Option -m, zum Beispiel ./llama-cli -m model.gguf -p "your prompt". Das Programm lädt das GGUF-Modell zur Laufzeit und verwendet es, um auf Grundlage der Eingabeaufforderung Antworten zu generieren, anstatt die Datei wie ein Dokument direkt zu öffnen.