minimind

介绍

MiniMind 是一个旨在降低大模型门槛的极简开源项目，支持从 0 开始训练仅 64M 的超小语言模型。它采用 PyTorch 原生实现，主线结构对齐 Qwen3 生态，完整覆盖预训练、SFT、RLHF、Agentic RL（GRPO/CISPO）等全链路技术。项目强调“白盒”学习，通过极简代码让用户在单张消费级 GPU 上以极低成本（如3元/2小时）即可完整复现大模型，并支持多模态扩展（视觉/Omni）与思考链（CoT）能力。

功能特征

• 全链路自研复现 (从 Pretrain 到 Agentic RL)
• 极致轻量化 (最低 26M 参数，支持 MoE 结构)
• 多推理生态适配 (Ollama/vLLM/llama.cpp)
• 原生 Tool-Use 与自适应思考链支持
• 极低硬件门槛 (单卡 3090 极速复现)

支持平台