omlx

介绍

oMLX 是专为 Mac (Apple Silicon) 优化的本地大模型推理引擎，通过热(RAM)-冷(SSD)分层 KV 缓存技术，实现了对话上下文在内存与磁盘间的持久化与复用。它基于 MLX 框架，支持连续批处理、多模型同时加载及 LRU 自动淘汰。作为 OpenClaw 生态的核心推理层，它能为本地 Agent 提供 OpenAI/Anthropic 兼容接口，并针对 Claude Code 进行了上下文缩放优化，支持视觉 (VLM) 与 OCR 模型。

功能特征

• 分层 KV 缓存 (Hot/Cold Cache)
• 连续批处理与并发请求
• 苹果芯片原生性能优化
• 视觉 (VLM) 与 OCR 支持
• OpenClaw 生态深度集成

支持平台