.GGUF Bestandsextensie
GGML Universal Format-bestand
| Ontwikkelaar | ggml-org |
| Populariteit |
4,0 | 2 stemmen |
Wat is een GGUF-bestand?
Een GGUF-bestand is een bestand voor een machinelearningmodel waarin grote taalmodellen (LLM's) en andere AI-modellen worden opgeslagen met behulp van het GGML Universal Format (GGUF). Het verpakt de informatie die nodig is om een model uit te voeren in één bestand. Dit kan modelgewichten, tokenizergegevens, configuratie-informatie en metagegevens bevatten. Het GGUF-formaat werd geïntroduceerd voor het llama.cpp-ecosysteem en wordt vaak verspreid via modelopslagplaatsen zoals Hugging Face.
Meer informatie
GGUF-bestanden zijn ontworpen om AI-modellen eenvoudiger te verspreiden en lokaal uit te voeren. Het formaat wordt veel gebruikt met hulpmiddelen die modelinferentie uitvoeren, waaronder llama.cpp en software die op die technologie is gebaseerd. Ontwikkelaars, onderzoekers, hobbyisten en gebruikers die lokale AI-assistenten uitvoeren, kunnen met GGUF-bestanden werken om modellen te implementeren op desktops, laptops en andere apparaten.
Veel GGUF-bestanden bevatten gekwantiseerde modelgegevens, waardoor het geheugengebruik afneemt en modellen efficiënter kunnen worden uitgevoerd op hardware voor consumenten, terwijl een praktische balans tussen modelkwaliteit en hardwarevereisten behouden blijft. In tegenstelling tot formaten die modelgewichten, tokenizerbestanden en configuratiebestanden over meerdere onderdelen verdelen, slaat GGUF deze bronnen samen op in één container. Het formaat ondersteunt ook metagegevens en verschillende manieren om modelgegevens op te slaan, waardoor software modelinformatie kan lezen en modelgegevens efficiënt kan laden.
OPMERKING: GGUF heeft eerdere GGML-gerelateerde formaten vervangen en is een veelgebruikt distributieformaat geworden voor lokale AI-inferentieworkflows.
Een GGUF-bestand openen
Je kunt een GGUF-bestand openen en gebruiken met software die het formaat ondersteunt, zoals llama.cpp en LM Studio. Veel gebruikers downloaden GGUF-modellen van Hugging Face en laden deze in lokale AI-hulpmiddelen voor inferentie.
Je kunt bijvoorbeeld een GGUF-bestand openen met llama.cpp door het opdrachtregelprogramma van llama.cpp uit te voeren en het modelbestand door te geven met de optie -m, bijvoorbeeld ./llama-cli -m model.gguf -p "your prompt". Het programma laadt het GGUF-model tijdens runtime en gebruikt het om antwoorden te genereren op basis van de invoerprompt, in plaats van het bestand rechtstreeks te openen zoals een document.