探索与 hardware-acceleration 相关的全量生态内容池。
LiteRT-LM 是 Google 推出的一款生产级、高性能、开源推理框架，专为在边缘设备上高效部署大型语言模型（LLMs）而设计。它通过利用 GPU 和 NPU 加速器实现卓越性能，支持 Android、iOS、Web、桌面和 IoT 等多种平台。该框架还具备多模态处理（视觉和音频）、工具使用（函数调用）能力，并广泛兼容 Gemma、Llama、Phi-4 等主流模型。它已赋能 Google 旗下的 Chrome、Chromebook Plus 和 Pixel Watch 等产品的设备端生成式 AI 体验。