MiniMind 本地部署实操指南

MiniMind 本地部署实操指南【免费下载链接】minimind Train a 64M-parameter LLM from scratch in just 2h!项目地址: https://gitcode.com/GitHub_Trending/min/minimind终端里输入杭州今天天气怎么样MiniMind 逐字回出了回答浏览器里打开聊天界面它也能流式应答。这是一个 64M 参数的轻量级模型另有 26M 的小版本可选。这份 MiniMind 部署教程全程只需 10 分钟左右一台普通 CPU 或一张入门级 NVIDIA GPU就能完成 MiniMind 本地运行并打开 MiniMind WebUI。克隆仓库并安装依赖MiniMind 部署教程的正式流程只有三步克隆仓库、拉取权重、打开界面。先看配置要求配置项最低推荐GPU无CPU 可跑单张 NVIDIA GPU如 RTX 3090内存8GB16GB 以上磁盘空间2GB10GB 以上1、克隆代码git clone https://gitcode.com/GitHub_Trending/min/minimind cd minimind预期看到当前目录下出现minimind文件夹里面有model/、scripts/、trainer/目录和eval_llm.py等文件。2、装完依赖后建议 Python 3.10直接执行pip install -r requirements.txt✅预期看到全部包安装成功且无报错python -c import torch无任何输出即说明 PyTorch 正常。下载模型权重并跑通第一次对话环境就绪后还差模型权重仓库里只有代码没有权重。MiniMind 轻量模型系列有 64M、26M 等多个版本这里用主线版minimind-364M。1、下载 transformers 格式的模型文件modelscope download --model gongjy/minimind-3 --local_dir ./minimind-3预期看到生成minimind-3文件夹内含.safetensors权重文件和配置、tokenizer 文件。2、启动命令行对话python eval_llm.py --load_from ./minimind-3✅预期看到模型加载成功并提示[0] 自动测试 / [1] 手动输入选 1 后你输入问题模型以:开头流式输出回答每轮结束还会打印tokens/s生成速度。没有 CUDA 时脚本会自动回退到 CPUMiniMind 本地运行不会报错只是生成速度偏慢。复制权重并用 Streamlit 打开聊天界面如果命令行对话太素可以打开可视化的 MiniMind WebUI。1、web_demo.py只扫描scripts/目录下带权重的子文件夹先把模型放进去cp -r ./minimind-3 ./scripts/minimind-32、启动服务cd scripts streamlit run web_demo.py预期看到浏览器自动打开或手动访问http://localhost:8501侧边栏有模型选择器与历史轮次/最大长度/温度滑杆主区可直接给 MiniMind 发消息底部输入框支持开启思考开关、勾选最多 4 个工具。卡住时先看这里启动 web_demo 后模型列表显示 No models found→scripts/下没有权重文件夹 → 执行cp -r ./minimind-3 ./scripts/minimind-3后刷新页面。torch.cuda.is_available()返回 False→ 装到了 PyTorch 的 CPU 版本 → 重新pip install torch并选择与驱动匹配的 CUDA 版本。pip install -r requirements.txt卡在 torch 上→ 依赖文件里 torch 是被注释掉的需单独先装 PyTorch → 先装好 torch 再重跑安装命令。CPU 上生成速度只有个位数 tokens/s→ 64M 模型在 CPU 上解码本就很慢 → 换 GPU 环境或给命令加--max_new_tokens 256缩短输出。eval_llm.py报找不到out/full_sft_768.pth→ 未加参数时默认走原生 torch 权重路径而本地没有训练权重 → 加上--load_from ./minimind-3指向 transformers 权重。跑通后可尝试给eval_llm.py追加--open_thinking 1观察 MiniMind 是否开始输出显式思考过程。【免费下载链接】minimind Train a 64M-parameter LLM from scratch in just 2h!项目地址: https://gitcode.com/GitHub_Trending/min/minimind创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考