candle

介绍

Candle 是 Hugging Face 推出的一个极简主义 Rust 机器学习框架，专注于性能（包括 GPU 支持）和易用性。它旨在实现无服务器推理，允许部署轻量级二进制文件，从而避免 Python 运行时开销并加速集群实例创建。Candle 支持多种最先进的机器学习模型，包括大型语言模型、计算机视觉和音频处理模型，并兼容 WebAssembly，可在浏览器中运行。

功能特征

• Rust 原生极简主义机器学习框架
• 高性能推理，支持 CPU、GPU (CUDA/cuDNN)
• 支持多种最先进的预训练模型 (LLMs, CV, Audio)
• 轻量级二进制部署，适用于无服务器推理
• 兼容 WebAssembly (WASM)，支持浏览器运行

支持平台