.GGUF Extensão de arquivo
Arquivo do Formato Universal GGML
| Desenvolvedor | ggml-org |
| Popularidade |
4,0 | 2 Votos |
O que é um arquivo GGUF?
Um arquivo GGUF é um arquivo de modelo de aprendizado de máquina que armazena modelos de linguagem grandes (LLMs) e outros modelos de IA usando o Formato Universal GGML (GGUF). Ele reúne as informações necessárias para executar um modelo em um único arquivo, que pode incluir pesos do modelo, dados do tokenizador, informações de configuração e metadados. O formato GGUF foi introduzido para o ecossistema llama.cpp e é comumente distribuído por meio de repositórios de modelos, como o Hugging Face.
Mais informações
Os arquivos GGUF foram projetados para facilitar a distribuição e a execução local de modelos de IA. O formato é amplamente usado com ferramentas que realizam inferência de modelos, incluindo o llama.cpp e softwares baseados nessa tecnologia. Desenvolvedores, pesquisadores, entusiastas e usuários que executam assistentes de IA localmente podem trabalhar com arquivos GGUF para implementar modelos em computadores de mesa, notebooks e outros dispositivos.
Muitos arquivos GGUF contêm dados de modelos quantizados, reduzindo o uso de memória e permitindo que os modelos sejam executados com mais eficiência em hardware de consumo, mantendo um equilíbrio prático entre a qualidade do modelo e os requisitos de hardware. Ao contrário dos formatos que separam os pesos do modelo, os arquivos do tokenizador e os arquivos de configuração em vários componentes, o GGUF armazena esses recursos juntos em um único contêiner. O formato também é compatível com metadados e diferentes métodos de armazenamento de dados do modelo, permitindo que os softwares leiam as informações do modelo e carreguem seus dados com eficiência.
NOTA: O GGUF substituiu formatos anteriores relacionados ao GGML e se tornou um formato comum de distribuição para fluxos de trabalho de inferência de IA local.
Como abrir um arquivo GGUF
Você pode abrir e usar um arquivo GGUF com softwares compatíveis com o formato, como o llama.cpp e o LM Studio. Muitos usuários baixam modelos GGUF do Hugging Face e os carregam em ferramentas de IA local para realizar inferência.
Por exemplo, para abrir um arquivo GGUF com o llama.cpp, você executa a ferramenta de linha de comando do llama.cpp e passa o arquivo do modelo usando a opção -m, por exemplo ./llama-cli -m model.gguf -p "your prompt". O programa carrega o modelo GGUF em tempo de execução e o usa para gerar respostas com base no prompt de entrada, em vez de abrir o arquivo diretamente como um documento.