LLMs-from-scratch

介绍

LLMs-from-scratch 是 Sebastian Raschka 编写的《从头构建大型语言模型》一书的官方代码库，旨在帮助读者从零开始，逐步构建一个类似 GPT 的大型语言模型。它详细演示了 LLM 的开发、预训练和微调过程，其方法与大型基础模型（如 ChatGPT 背后的模型）的创建方式相呼应。该项目使用 PyTorch 实现所有代码，不依赖外部 LLM 库，并提供了加载预训练模型权重进行微调的功能，适用于教育与深度理解 LLM 原理。

功能特征

• 从零开始构建类GPT LLM
• 涵盖LLM的预训练与微调
• 纯PyTorch实现，不依赖外部LLM库
• 支持加载大型预训练模型权重
• 适用于教育与深度理解LLM原理

支持平台