目前,市面上有各種不同的大模型部署工具,比如 ollama、vllm、sglang 等,但是很多人還並不瞭解大模型文件格式之間的區別,本次我們來聊一下 ollama 專用的 GGUF 格式。1、什麼是 GGUFGGUF 格式的全名爲(GPT-Generated Unified Format),由 llama.cpp 創始人 Georgi Gerganov 設計的二進制文件格式,專爲高效存儲和加載大 ⌘ Read more
目前,市面上有各種不同的大模型部署工具,比如 ollama、vllm、sglang 等,但是很多人還並不瞭解大模型文件格式之間的區別,本次我們來聊一下 ollama 專用的 GGUF 格式。1、什麼是 GGUFGGUF 格式的全名爲(GPT-Generated Unified Format),由 llama.cpp 創始人 Georgi Gerganov 設計的二進制文件格式,專爲高效存儲和加載大 ⌘ Read more