.GGUF Přípona souboru
Soubor formátu GGML Universal Format
| Vývojář | ggml-org |
| Popularita |
4,0 | 2 hlasy |
Co je soubor GGUF?
Soubor GGUF je soubor modelu strojového učení, který pomocí formátu GGML Universal Format (GGUF) ukládá velké jazykové modely (LLM) a další modely umělé inteligence. Obsahuje informace potřebné ke spuštění modelu v jediném souboru, které mohou zahrnovat váhy modelu, data tokenizéru, informace o konfiguraci a metadata. Formát GGUF byl představen pro ekosystém llama.cpp a běžně se distribuuje prostřednictvím repozitářů modelů, jako je Hugging Face.
Další informace
Soubory GGUF jsou navrženy tak, aby usnadnily distribuci modelů umělé inteligence a jejich místní spouštění. Formát se široce používá s nástroji, které provádějí inferenci modelů, včetně llama.cpp a softwaru založeného na této technologii. Vývojáři, výzkumníci, nadšenci a uživatelé provozující místní asistenty umělé inteligence mohou se soubory GGUF pracovat při nasazování modelů na stolních počítačích, noteboocích a dalších zařízeních.
Mnoho souborů GGUF obsahuje kvantizovaná data modelu, která snižují využití paměti a umožňují efektivnější běh modelů na běžně dostupném hardwaru při zachování praktické rovnováhy mezi kvalitou modelu a hardwarovými požadavky. Na rozdíl od formátů, které rozdělují váhy modelu, soubory tokenizéru a konfigurační soubory do více komponent, ukládá GGUF tyto zdroje společně do jediného kontejneru. Formát také podporuje metadata a různé způsoby ukládání dat modelu, takže software může číst informace o modelu a efektivně načítat data modelu.
POZNÁMKA: GGUF nahradil dřívější formáty související s GGML a stal se běžným distribučním formátem pro místní pracovní postupy inference umělé inteligence.
Jak otevřít soubor GGUF
Soubor GGUF můžete otevřít a používat v softwaru, který tento formát podporuje, například llama.cpp a LM Studio. Mnoho uživatelů stahuje modely GGUF z Hugging Face a načítá je do místních nástrojů umělé inteligence pro inferenci.
Chcete-li například otevřít soubor GGUF pomocí llama.cpp, spusťte nástroj llama.cpp příkazového řádku a předejte mu soubor modelu pomocí volby -m, například ./llama-cli -m model.gguf -p "your prompt". Program načte model GGUF za běhu a použije ho ke generování odpovědí na základě vstupní výzvy, místo aby soubor otevřel přímo jako dokument.