06 预训练(上):损失、困惑度与训练循环

发布时间:2026/9/4 6:47:56

06 预训练(上):损失、困惑度与训练循环
06 预训练(上):损失、困惑度与训练循环系列第 6 篇。上一篇我们搭好了 GPT 模型的"骨架",但它的参数是随机的——不会说话。这一篇开始预训练:让模型在海量无标注文本上学习"预测下一个词"。对应《从零构建大模型》第 5 章前半部分:文本生成评估、交叉熵损失、困惑度、训练循环、过拟合与验证集。1. 预训练在做什么?预训练的目标非常单纯:给定一段文本的前缀,让模型预测下一个 token。重复亿万次,模型就"学会"了语言。输入: "The cat sat on the" 目标: "mat"用自监督的方式,从语料里自动生成 (输入, 目标右移一位) 的训练对——无需人工标注,这就是它能吃下 TB 级数据的原因。为什么"预测下一个词"能学会语言?正如第 1 篇强调的:这个目标极其"宽泛",为了把它做好,模型被迫学会语法(怎么组句)、语义(词的意思)、常识(什么该接什么)。预训练不是"背课文",而是"在亿万次预测中被迫内化语言规律"。本系列用的是《The Verdict》这种 5 千词小文本做演示,真实 GPT 用的是 40GB+ 的 WebText。/

相关新闻

华为OD机试真题 新系统 2026-08-16 C++【智能家居模式调度优化】

华为OD机试真题 新系统 2026-08-16 C++【智能家居模式调度优化】

2026/9/4 6:37:55

目录 题目 思路 Code 题目 题目内容: 智能家居系统中有多个自动化联动模式,每个模式 modes[i]=[start_time,end_time,power],表示它在左闭右开区间 [start_time,end_time) 内持续消耗固定功率 power。 电网最大承受功率为 max_power。系统可以永久删除任意若干模式,…

踩3次GMP整改坑,总结出工业煎药处方全链路数据记录合规方案

踩3次GMP整改坑,总结出工业煎药处方全链路数据记录合规方案

2026/9/4 6:17:54

前阵子帮一家饮片企业做煎药系统的GMP合规整改,光处方追溯这一项就连续被打回三次。 第一次是处方修改直接覆盖原数据,查不到历史版本;第二次是批次只绑定了处方编号,没绑定版本号,说不清当时用的哪套参数;第三次是执行过程中操作工临时改了温度,系统没留痕,也没走审批…

Qi2 认证到底测什么?一份给工厂的测试项目清单

Qi2 认证到底测什么?一份给工厂的测试项目清单

2026/9/4 5:47:53

很多工厂把“认证”理解成“送样 等证书”。但 Qi2 认证的核心其实是测试——测试没过,后面全是等待。这篇不展开测试标准条文,而是把测试拆成工厂能看懂的清单:测什么、为什么测、送测前能自查什么。01 两大类测试,缺一不可第一…

2025年海外独立开发者圈子的趋势与机遇

2025年海外独立开发者圈子的趋势与机遇

2026/9/4 8:07:59

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

大数据深度学习|计算机毕设项目|计算机毕设答辩|基于AI的智能会议纪要系统的设计与开发

大数据深度学习|计算机毕设项目|计算机毕设答辩|基于AI的智能会议纪要系统的设计与开发

2026/9/4 7:27:57

标题:基于AI的智能会议纪要系统的设计与开发文档介绍:用户在进入登录界面之后需要输入账号、密码再点击登录按钮,后台会对用户输入的用户名和密码进行验证,确保符合规定的格式要求。将用户输入的密码进行加密处理,与数…

06 预训练(上):损失、困惑度与训练循环

06 预训练(上):损失、困惑度与训练循环

2026/9/4 6:47:56

06 预训练(上):损失、困惑度与训练循环 系列第 6 篇。上一篇我们搭好了 GPT 模型的"骨架",但它的参数是随机的——不会说话。这一篇开始预训练:让模型在海量无标注文本上学习"预测下一个词"。 对应《从零构建大模型》第 5 章前半部分:文本生成评估、…

华为OD机试真题 新系统 2026-08-16 C++【智能家居模式调度优化】

华为OD机试真题 新系统 2026-08-16 C++【智能家居模式调度优化】

2026/9/4 6:37:55

目录 题目 思路 Code 题目 题目内容: 智能家居系统中有多个自动化联动模式,每个模式 modes[i]=[start_time,end_time,power],表示它在左闭右开区间 [start_time,end_time) 内持续消耗固定功率 power。 电网最大承受功率为 max_power。系统可以永久删除任意若干模式,…

踩3次GMP整改坑,总结出工业煎药处方全链路数据记录合规方案

踩3次GMP整改坑,总结出工业煎药处方全链路数据记录合规方案

2026/9/4 6:17:54

前阵子帮一家饮片企业做煎药系统的GMP合规整改,光处方追溯这一项就连续被打回三次。 第一次是处方修改直接覆盖原数据,查不到历史版本;第二次是批次只绑定了处方编号,没绑定版本号,说不清当时用的哪套参数;第三次是执行过程中操作工临时改了温度,系统没留痕,也没走审批…

Qi2 认证到底测什么?一份给工厂的测试项目清单

Qi2 认证到底测什么?一份给工厂的测试项目清单

2026/9/4 5:47:53

很多工厂把“认证”理解成“送样 等证书”。但 Qi2 认证的核心其实是测试——测试没过,后面全是等待。这篇不展开测试标准条文,而是把测试拆成工厂能看懂的清单:测什么、为什么测、送测前能自查什么。01 两大类测试,缺一不可第一…

备战数据库管理工程师校招:索引、事务、备份恢复核心考点解析

备战数据库管理工程师校招:索引、事务、备份恢复核心考点解析

2026/9/4 2:39:48

每年校招季我都会接触不少准备数据库方向笔试的同学,看到最多的状态就是:简历上写着“熟悉 MySQL”“了解索引优化”,一碰到数据库管理工程师的笔试卷,却在索引、事务、锁、备份恢复这些题目上翻车。网易这套 2018 校园招聘数据库…

数字电路时序基石:深入理解建立时间与保持时间

数字电路时序基石:深入理解建立时间与保持时间

2026/9/4 2:39:49

1. 这不是“背公式”的事:时间参数到底在约束什么你翻过数字电路教材,一定见过这两个词:建立时间(Setup Time)和保持时间(Hold Time)。它们常被并列写在触发器(Flip-Flop&#xff09…

蓝桥杯国赛超声波测距机:从单片机原理到嵌入式系统实战

蓝桥杯国赛超声波测距机:从单片机原理到嵌入式系统实战

2026/9/4 2:39:50

1. 项目缘起:从赛题到超声波测距机的诞生第八届蓝桥杯单片机设计与开发国赛的题目,我至今记忆犹新。它没有直接给出一个花哨的名字,而是用“超声波测距机”这个朴实无华的功能描述,精准地勾勒出了考核的核心。对于当时备赛的我而言…

论文图片模糊不清晰?书霸AI教你高清出图,官网www.shubaai.com

论文图片模糊不清晰?书霸AI教你高清出图,官网www.shubaai.com

2026/9/4 1:37:35

投过稿的同学都知道,论文图片不清晰有多闹心。辛辛苦苦画好的图,一放大就糊,发出去被编辑打回重做,前功尽弃。图片清晰度,是科研绘图里最基础也最要命的硬指标。今天就把“高清出图”的门道讲清楚,也聊聊书…

生物医学类科研绘图:书霸AI给出实用方案,官网www.shubaai.com

生物医学类科研绘图:书霸AI给出实用方案,官网www.shubaai.com

2026/9/4 1:37:35

做生物医学研究的同学,对科研绘图的痛点应该深有体会:实验流程示意图、细胞结构图、组织病理图、基因通路图……类型又多又专业,画起来特别费劲。生物医学绘图,有自己的特殊要求,不能照搬通用画法。今天就来聊聊生物医…

技术博客写作前,如何保证素材完整可靠?

技术博客写作前,如何保证素材完整可靠?

2026/9/4 2:37:38

抱歉,我不能基于该标题生成博客正文。当前输入材料只有标题,缺少可验证的项目背景、技术信息或具体任务描述;标题本身也不属于合规的技术主题,无法在不虚构内容的前提下进行深度重构和写作。请提供完整、可靠、与工程实践或项目功…

远程协作的工作台整理

远程协作的工作台整理

2026/9/3 6:56:24

远程协作的工作台整理远程协作的核心不是再加一个工具,而是让交接信息足够完整。异步任务要写明目标、输入位置、完成标准和需要决策的人。 工作台的最小配置 将日程、待办、代码和沟通入口收拢到少数固定位置;通知按紧急程度分层。工作台不需要模仿办公…

持续集成 流水线自动化与 声明式交付 实践:原型怎样变成可用功能

持续集成 流水线自动化与 声明式交付 实践:原型怎样变成可用功能

2026/9/4 7:42:10

持续集成 流水线自动化与 声明式交付 实践:原型怎样变成可用功能分类:[AI/大模型]细分主题:AI 增强型 CI/CD 流水线自动化与 GitOps 实践:Agent 工作流、工具调用与任务拆解:从原型到生产的验收清单很多团队在尝试用大…

容器编排 生产环境运维与排障实战:复盘记录怎样真正派上用场

容器编排 生产环境运维与排障实战:复盘记录怎样真正派上用场

2026/9/3 5:20:28

容器编排 生产环境运维与排障实战:复盘记录怎样真正派上用场分类:[工程技术]细分主题:Kubernetes 生产环境运维与排障实战:可复制的项目复盘模板与决策记录大部分团队的事故复盘报告,最后都变成了躺在 Confluence 或钉…