.GGUF Estensione file
File in formato universale GGML
| Sviluppatore | ggml-org |
| Popolarità |
4,0 | 2 Voti |
Che cos'è un file GGUF?
Un file GGUF è un file di modello di machine learning che memorizza modelli linguistici di grandi dimensioni (LLM) e altri modelli di IA utilizzando il formato universale GGML (GGUF). Raggruppa in un unico file le informazioni necessarie per eseguire un modello, che possono includere i pesi del modello, i dati del tokenizer, le informazioni di configurazione e i metadati. Il formato GGUF è stato introdotto per l'ecosistema llama.cpp e viene comunemente distribuito tramite repository di modelli come Hugging Face.
Maggiori informazioni
I file GGUF sono progettati per facilitare la distribuzione e l'esecuzione locale dei modelli di IA. Il formato è ampiamente utilizzato con strumenti che eseguono l'inferenza dei modelli, tra cui llama.cpp e i software basati su questa tecnologia. Sviluppatori, ricercatori, appassionati e utenti che eseguono assistenti di IA locali possono lavorare con file GGUF per distribuire modelli su computer desktop, portatili e altri dispositivi.
Molti file GGUF contengono dati di modelli quantizzati, che riducono l'utilizzo della memoria e consentono ai modelli di funzionare in modo più efficiente sull'hardware dei normali utenti, mantenendo al contempo un equilibrio pratico tra la qualità del modello e i requisiti hardware. A differenza dei formati che separano i pesi del modello, i file del tokenizer e i file di configurazione in più componenti, GGUF memorizza queste risorse insieme in un unico contenitore. Il formato supporta anche i metadati e diversi metodi di memorizzazione dei dati del modello, consentendo al software di leggere le informazioni sul modello e caricare i dati del modello in modo efficiente.
NOTA: GGUF ha sostituito i precedenti formati correlati a GGML ed è diventato un formato di distribuzione comune per i flussi di lavoro di inferenza locale dell'IA.
Come aprire un file GGUF
Puoi aprire e utilizzare un file GGUF con software che supporta il formato, come llama.cpp e LM Studio. Molti utenti scaricano modelli GGUF da Hugging Face e li caricano negli strumenti di IA locali per eseguire l'inferenza.
Ad esempio, per aprire un file GGUF con llama.cpp, esegui lo strumento da riga di comando di llama.cpp e passi il file del modello utilizzando l'opzione -m, ad esempio ./llama-cli -m model.gguf -p "your prompt". Il programma carica il modello GGUF in fase di esecuzione e lo utilizza per generare risposte in base al prompt di input, invece di aprire direttamente il file come un documento.