.GGUF Extension de fichier
Fichier au format universel GGML
| Développeur | ggml-org |
| Popularité |
4,0 | 2 Votes |
Qu'est-ce qu'un fichier GGUF ?
Un fichier GGUF est un fichier de modèle d’apprentissage automatique qui stocke de grands modèles de langage (LLM) et d’autres modèles d’IA au moyen du format universel GGML (GGUF). Il regroupe les informations nécessaires à l’exécution d’un modèle dans un seul fichier, notamment les poids du modèle, les données du tokenizer, les informations de configuration et les métadonnées. Le format GGUF a été créé pour l’écosystème llama.cpp et est couramment distribué par l’intermédiaire de dépôts de modèles tels que Hugging Face.
Plus d'informations
Les fichiers GGUF sont conçus pour faciliter la distribution et l’exécution locale des modèles d’IA. Ce format est largement utilisé avec des outils qui effectuent l’inférence de modèles, notamment llama.cpp et les logiciels basés sur cette technologie. Les développeurs, les chercheurs, les passionnés et les utilisateurs qui exécutent des assistants d’IA en local peuvent utiliser des fichiers GGUF pour déployer des modèles sur des ordinateurs de bureau, des ordinateurs portables et d’autres appareils.
De nombreux fichiers GGUF contiennent des données de modèles quantifiées, ce qui réduit l’utilisation de la mémoire et permet aux modèles de s’exécuter plus efficacement sur du matériel grand public, tout en maintenant un équilibre pratique entre la qualité du modèle et les exigences matérielles. Contrairement aux formats qui séparent les poids du modèle, les fichiers du tokenizer et les fichiers de configuration en plusieurs composants, le GGUF stocke ces ressources ensemble dans un seul conteneur. Le format prend également en charge les métadonnées et différentes méthodes de stockage des données du modèle, ce qui permet aux logiciels de lire les informations du modèle et de charger efficacement ses données.
REMARQUE : Le GGUF a remplacé les anciens formats associés au GGML et est devenu un format de distribution courant pour les flux de travail d’inférence locale de l’IA.
Comment ouvrir un fichier GGUF
Vous pouvez ouvrir et utiliser un fichier GGUF avec des logiciels prenant en charge ce format, tels que llama.cpp et LM Studio. De nombreux utilisateurs téléchargent des modèles GGUF depuis Hugging Face et les chargent dans des outils d’IA locaux pour effectuer des inférences.
Par exemple, pour ouvrir un fichier GGUF avec llama.cpp, vous exécutez l’outil en ligne de commande de llama.cpp et transmettez le fichier du modèle à l’aide de l’option -m, par exemple ./llama-cli -m model.gguf -p "your prompt". Le programme charge le modèle GGUF au moment de l’exécution et l’utilise pour générer des réponses à partir de l’invite saisie, plutôt que d’ouvrir directement le fichier comme un document.