OpenMythos

介绍

OpenMythos 是 Anthropic Claude Mythos 模型的开源理论实现，由 kyegomez 基于公开研究和推测构建。它采用循环深度Transformer（RDT）架构，包含序曲（Prelude）、循环块（Recurrent Block）和尾声（Coda）三个阶段。其核心在于循环块，可进行多次迭代以实现深度推理，从而实现计算自适应和深度可变的推理能力。该模型支持MLA和GQA两种注意力机制，并使用稀疏MoE（Mixture of Experts）实现路由和共享专家。OpenMythos旨在通过更少的参数实现与更高参数量模型相当的性能。

功能特征

• 循环深度Transformer (RDT) 架构
• 计算自适应与深度可变推理
• 稀疏Mixture-of-Experts (MoE) 系统
• 支持MLA与GQA注意力机制
• 深度外推与参数效率

支持平台