探索与 ggml 相关的全量生态内容池。
llama.cpp 是由 ggml-org 开发的开源 C/C++ 大模型推理引擎，旨在以最简设置在各类硬件上实现高效的本地及云端推理。其核心基于无外部依赖的纯 C/C++ 架构与 ggml 库，广泛支持 Metal、CUDA 和 Vulkan 等硬件加速及 CPU+GPU 混合推理。特点是高度便携跨平台、原生支持 GGUF 格式与 1.5 到 8-bit 的模型量化，并自带 REST API 服务与 WebUI。