LiteRT-LM

介绍

LiteRT-LM 是 Google 推出的一款生产级、高性能、开源推理框架，专为在边缘设备上高效部署大型语言模型（LLMs）而设计。它通过利用 GPU 和 NPU 加速器实现卓越性能，支持 Android、iOS、Web、桌面和 IoT 等多种平台。该框架还具备多模态处理（视觉和音频）、工具使用（函数调用）能力，并广泛兼容 Gemma、Llama、Phi-4 等主流模型。它已赋能 Google 旗下的 Chrome、Chromebook Plus 和 Pixel Watch 等产品的设备端生成式 AI 体验。

功能特征

• 边缘设备LLM推理
• 多平台兼容性
• 硬件加速优化 (GPU/NPU)
• 多模态与工具调用
• 广泛模型支持

支持平台