沿着兴趣，发现项目。

minimind

从零开始用 PyTorch 原生实现并训练 GPT 风格语言模型的开源项目

MiniMind 是一个开源项目，目标是从绝对零开始训练一个 GPT 风格的语言模型。项目没有使用任何第三方框架的高级抽象，所有核心算法代码均使用 PyTorch 原生实现，开发者可以逐行阅读、理解、修改每一处计算逻辑。项目覆盖了从预训练、SFT 到 DPO 的完整训练链路，并支持推理、多模态、工具调用等能力。其最小模型为 26M 参数，最低硬件要求为单张 NVIDIA 3090，最短训练时间约 2 小时。项目强调“大道至简”的理念，不追求 SOTA，而是追求“最小可理解”，旨在帮助开发者理解 LLM 的每个组件如何工作。同时，项目兼容 llama.cpp、vllm、ollama 等推理部署方案，并兼容 OpenAI API，可接入 FastGPT、Open-WebUI。