.GGUF ファイル拡張子
GGML Universal Formatファイル
| 開発元 | ggml-org |
| 人気度 |
4.0 | 2 票 |
GGUFファイルとは？
GGUFファイルは、GGML Universal Format（GGUF）を使用して大規模言語モデル（LLM）やその他のAIモデルを保存する機械学習モデルファイルです。モデルの重み、トークナイザーのデータ、設定情報、メタデータなど、モデルの実行に必要な情報を1つのファイルにまとめて保存できます。GGUF形式はllama.cppエコシステム向けに導入され、Hugging Faceなどのモデルリポジトリを通じて一般的に配布されています。
詳細情報
GGUFファイルは、AIモデルの配布やローカルでの実行を簡単にするために設計されています。この形式は、llama.cppやその技術を基にしたソフトウェアなど、モデルの推論を行うツールで広く使用されています。開発者、研究者、ホビイスト、ローカルAIアシスタントを実行するユーザーは、デスクトップ、ノートパソコン、その他のデバイスにモデルを導入するためにGGUFファイルを扱うことがあります。
多くのGGUFファイルには量子化されたモデルデータが含まれており、メモリ使用量を削減し、モデルの品質とハードウェア要件の実用的なバランスを保ちながら、一般向けハードウェア上でモデルをより効率的に実行できます。モデルの重み、トークナイザーファイル、設定ファイルを複数のコンポーネントに分けて保存する形式とは異なり、GGUFはこれらのリソースを1つのコンテナにまとめて保存します。また、この形式はメタデータとモデルデータのさまざまな保存方法をサポートしているため、ソフトウェアはモデル情報を読み取り、モデルデータを効率的に読み込めます。
注: GGUFは以前のGGML関連形式に取って代わり、ローカルAI推論ワークフローで一般的な配布形式になりました。
GGUFファイルの開き方
GGUFファイルは、llama.cppやLM Studioなど、この形式をサポートするソフトウェアで開いて使用できます。多くのユーザーはHugging FaceからGGUFモデルをダウンロードし、ローカルAIツールに読み込んで推論に使用します。
たとえば、llama.cppでGGUFファイルを開くには、llama.cppのコマンドラインツールを実行し、-mオプションを使用してモデルファイルを渡します。例：./llama-cli -m model.gguf -p "your prompt"。プログラムは実行時にGGUFモデルを読み込み、ドキュメントのようにファイルを直接開くのではなく、入力プロンプトに基づいて応答を生成するために使用します。