.GGUF 文件扩展名

GGUF文件旨在让AI模型更易于分发和在本地运行。该格式广泛用于执行模型推理的工具，包括llama.cpp以及基于这项技术构建的软件。开发人员、研究人员、业余爱好者以及运行本地AI助手的用户，都可能使用GGUF文件在台式机、笔记本电脑和其他设备上部署模型。

许多GGUF文件包含量化的模型数据，可以减少内存使用量，让模型在消费级硬件上更高效地运行，同时在模型质量和硬件要求之间保持实用的平衡。与将模型权重、分词器文件和配置文件分成多个组件的格式不同，GGUF会将这些资源存储在同一个容器中。该格式还支持元数据以及不同的模型数据存储方式，使软件能够读取模型信息并高效加载模型数据。

注: GGUF取代了早期与GGML相关的格式，并已成为本地AI推理工作流程中常见的分发格式。

你可以使用支持该格式的软件打开和使用GGUF文件，例如llama.cpp和LM Studio。许多用户会从Hugging Face下载GGUF模型，并将其加载到本地AI工具中进行推理。

例如，要使用llama.cpp打开GGUF文件，你可以运行llama.cpp的命令行工具，并使用-m选项传入模型文件，例如./llama-cli -m model.gguf -p "your prompt"。程序会在运行时加载GGUF模型，并使用它根据输入提示生成响应，而不是像打开文档那样直接打开文件。