.GGUF Extensión de archivo
Archivo del formato universal GGML
| Desarrollador | ggml-org |
| Popularidad |
4.0 | 2 Votos |
¿Qué es un archivo GGUF?
Un archivo GGUF es un archivo de modelo de aprendizaje automático que almacena modelos de lenguaje grandes (LLM) y otros modelos de IA mediante el formato universal GGML (GGUF). Empaqueta la información necesaria para ejecutar un modelo en un solo archivo, que puede incluir los pesos del modelo, datos del tokenizador, información de configuración y metadatos. El formato GGUF se introdujo para el ecosistema de llama.cpp y se distribuye habitualmente a través de repositorios de modelos como Hugging Face.
Más información
Los archivos GGUF están diseñados para facilitar la distribución y la ejecución local de modelos de IA. El formato se utiliza ampliamente con herramientas que realizan inferencias de modelos, como llama.cpp y el software basado en esa tecnología. Los desarrolladores, investigadores, aficionados y usuarios que ejecutan asistentes de IA locales pueden trabajar con archivos GGUF para implementar modelos en computadoras de escritorio, laptops y otros dispositivos.
Muchos archivos GGUF contienen datos de modelos cuantizados, lo que reduce el uso de memoria y permite que los modelos se ejecuten de forma más eficiente en hardware de consumo, manteniendo un equilibrio práctico entre la calidad del modelo y los requisitos de hardware. A diferencia de los formatos que separan los pesos del modelo, los archivos del tokenizador y los archivos de configuración en varios componentes, GGUF almacena estos recursos juntos en un solo contenedor. El formato también admite metadatos y diferentes métodos para almacenar datos del modelo, lo que permite que el software lea la información del modelo y cargue sus datos de forma eficiente.
NOTA: GGUF reemplazó los formatos anteriores relacionados con GGML y se ha convertido en un formato de distribución común para los flujos de trabajo de inferencia de IA local.
Cómo abrir un archivo GGUF
Puedes abrir y usar un archivo GGUF con software compatible con el formato, como llama.cpp y LM Studio. Muchos usuarios descargan modelos GGUF de Hugging Face y los cargan en herramientas de IA locales para realizar inferencias.
Por ejemplo, para abrir un archivo GGUF con llama.cpp, ejecutas la herramienta de línea de comandos de llama.cpp y pasas el archivo del modelo mediante la opción -m, por ejemplo ./llama-cli -m model.gguf -p "your prompt". El programa carga el modelo GGUF en tiempo de ejecución y lo utiliza para generar respuestas basadas en el mensaje de entrada, en lugar de abrir el archivo directamente como un documento.