【Video-DeepResearch技术解析】解耦感知、分阶段工具调用与GRPO如何重做视频深度研究

文章目录Video-DeepResearch技术解析解耦感知、分阶段工具调用与GRPO如何重做视频深度研究一、引言二、从网页Deep Research到视频Deep Research2.1 视频不是更长的图片2.2 基准为何要防止背答案三、核心架构先感知再探索3.1 解耦感知与开放网络探索3.2 为什么不能把两阶段彻底割裂四、训练方法SFT打底GRPO突破模仿上限4.1 两阶段训练各自解决什么4.2 结果怎么看五、工程落地如何搭建可审计的视频研究Agent5.1 工具设计比模型名称更重要5.2 生产系统的验收指标六、横向对比Video-DR处在什么位置七、总结Video-DeepResearch技术解析解耦感知、分阶段工具调用与GRPO如何重做视频深度研究一、引言亲爱的朋友们创作不容易若对您有帮助的话请点赞收藏加关注哦您的关注是我持续创作的动力谢谢大家有问题请私信或联系邮箱jasonai.fngmail.com深度研究智能体已经能搜索网页、阅读文档并整理引用但面对一段几十分钟的视频常见做法仍是先抽字幕再把它当成长文本。这样会漏掉没有被说出口的信息镜头里的仪表读数、人物动作、物体变化以及相隔数分钟才形成因果关系的事件。2026 年 8 月来自中国科学技术大学、小红书、香港中文大学等机构的研究者提出 Video-DeepResearchVideo-DR。它不是给现有搜索 Agent 再加一个视频上传按钮而是把任务重新定义为先在连续视频中建立可验证的时空证据再到开放网络补全外部知识最后形成多跳答案。论文同时指出现有智能体的两个问题一是模态偏置模型宁愿搜文本也不愿调用视觉工具二是参数知识泄漏模型凭训练记忆答题看似正确却没有真的研究。Video-DR 用解耦感知与探索、分阶段解锁工具以及 SFTGRPO 训练试图从流程上堵住这两条捷径。二、从网页Deep Research到视频Deep Research2.1 视频不是更长的图片网页研究的基本单位是页面图像研究的基本单位是静态画面视频研究则同时面对时间、空间和外部世界三种坐标。问题可能指向一个只出现两秒的零件也可能要求把片中地点与网页上的历史资料联系起来。研究对象核心检索单位主要难点常见失败网页文档、段落、链接来源选择与多跳检索引用错位、来源循环静态图像物体、区域、OCR文字视觉定位与外部知识看错细节、只凭常识视频帧、片段、事件、跨帧关系长时序定位网页探索只看字幕、抽帧漏证据Video-DR 的价值在于把“看视频”和“查资料”拆成可观测的工具轨迹。答案不只要对还应解释证据来自哪个时间片、调用了什么工具、外部结论由哪一网页支持。2.2 基准为何要防止背答案团队构建了包含 200 个复杂多跳视频问答实例的 Video-DR-Bench并以人机协作方式整理问题与答案。规模不算大但设计重点不是刷海量选择题而是观察智能体是否真的完成视觉定位和外部探索。如果题目本身能被模型的参数记忆回答视觉工具调用率就会虚高或失去意义。因此评测应同时记录最终准确率、视觉工具使用、网页引用和完整轨迹不能只看最后一个字符串。三、核心架构先感知再探索3.1 解耦感知与开放网络探索用户问题 连续视频 │ ▼ 阶段一视频感知网页工具锁定 抽帧 · 时间定位 · 片段复查 · OCR · 事件归纳 │ ▼ 结构化视觉证据与待查实体 │ ▼ 阶段二外部探索解锁 search / visit 实体消歧 · 网页检索 · 交叉验证 · 引用提取 │ ▼ 证据对齐、推理与最终答案关键设计是stage-wise tool unlocking。第一阶段不开放网页搜索迫使智能体先使用视觉工具完成跨帧定位只有形成视觉证据后第二阶段才允许搜索和访问网页。这比在提示词中写“请先看视频”更强因为前者是运行时权限约束后者只是可以被模型忽略的软要求。3.2 为什么不能把两阶段彻底割裂解耦不等于两套互不通信的系统。第一阶段必须输出可供检索的实体、时间点、可见文字与不确定项第二阶段发现实体有歧义时也应允许回到指定时间段复查。工程上更合理的是有状态的阶段机而不是一次性流水线。{video_evidence:[{start:132.4,end:138.1,observation:仪表显示型号 X7}],open_questions:[X7 对应哪一代产品],web_citations:[],confidence:0.72}这种中间表示让调试变得具体答错时可以判断是视频没看见、实体搜错还是证据已经正确但推理失败。四、训练方法SFT打底GRPO突破模仿上限4.1 两阶段训练各自解决什么研究构建约 3 万条视频落地问答并筛选约 7000 条工具轨迹。监督微调先教会模型基本的工具格式和阶段顺序再用 Group Relative Policy OptimizationGRPO优化自主探索策略。阶段学习目标优势局限SFT模仿高质量轨迹、学会调用工具稳定、格式可控、容易启动上限受示范轨迹限制GRPO在同题多条候选轨迹中强化高回报策略能发现更好的搜索与复查路径奖励设计和计算成本更高只做 SFT模型容易复刻“标准步骤”遇到新型视频问题就机械照抄。GRPO 让模型比较同一问题的多条探索路径奖励最终准确性与有效工具行为从而学习何时多看几帧、何时停止搜索。4.2 结果怎么看论文摘要报告Video-DeepResearch-35B-A3B 在两个基准上的平均准确率为 64.0%高于 Claude-4.5-Sonnet 的 59.0%、Gemini 2.5 Pro 的 57.5% 和 GPT-5 的 52.5%30B-A3B 版本达到 59.3%。项目页另列 Video-DR 单项 68.0%两种口径不能混用。模型两基准平均准确率说明Video-DeepResearch-35B-A3B64.0%论文摘要口径Video-DeepResearch-30B-A3B59.3%更小的激活参数版本Claude-4.5-Sonnet59.0%项目方同设置评测Gemini 2.5 Pro57.5%项目方同设置评测GPT-552.5%项目方同设置评测这些结果支持“训练流程比单纯堆参数更重要”但基准只有 200 个 Video-DR-Bench 实例且数据、权重在项目页标注为待发布。因此现阶段应把它视为有力研究信号而不是所有视频研究任务的最终排名。五、工程落地如何搭建可审计的视频研究Agent5.1 工具设计比模型名称更重要工具输入输出必须记录时间检索问题、视频索引候选时间片召回分数、时间范围片段复查起止时间密集帧或短片描述帧率、采样策略视觉OCR帧或区域文字与坐标原图区域、置信度网页搜索待查实体候选链接查询词、排名页面访问URL摘要与证据段抓取时间、原文位置视频长时序任务成本很高不能一开始就对全片做最大密度分析。更实用的策略是“粗检索→局部加密→跨帧核验”先低帧率找候选片段再对关键时间窗提高采样密度最后检查事件前后关系。5.2 生产系统的验收指标最终答案准确率之外至少还应测四项视觉证据时间段是否覆盖正确片段网页引用是否真的支持结论模型是否在网页搜索前完成视觉定位以及相同问题多次运行的成本和稳定性。一次回答的验收 答案正确 视频时间证据可复查 外部引用可访问且支持主张 工具轨迹符合阶段策略 延迟与调用预算可接受涉及监控、取证、医疗或员工视频时还必须设置访问控制、保留期限与人工复核。能搜索视频不等于有权搜索视频。六、横向对比Video-DR处在什么位置路线代表形态优势短板字幕/RAG路线ASR转写后进入文本检索成本低、工程成熟丢失无声视觉信息与时序动作长上下文视频模型整段视频直接输入VLM交互简单、端到端长视频成本高证据定位不透明通用Deep Research视觉附件搜索Agent临时查看图片/视频网页能力强、产品成熟容易跳过视觉工具依赖参数记忆Video-DeepResearch分阶段视频感知与网页探索强制视觉落地、轨迹可审计计算开销大公开资产仍待补齐Video-DR 最重要的贡献不是某个视觉编码器而是把“先看清再搜索”固化为智能体控制协议。它与长上下文视频模型并不冲突后者可以成为感知工具前者负责决定何时看、看哪里、何时转向外部知识。七、总结维度核心结论任务升级深度研究从网页扩展到连续视频必须联合时空证据与开放网络知识架构关键解耦感知和探索并用分阶段工具解锁抑制模态偏置训练路径SFT学习工具范式GRPO优化自主探索突破单纯模仿轨迹的上限评测口径两基准平均64.0%与Video-DR单项68.0%是不同指标不能混写落地边界需要证据时间戳、引用审计、成本控制与隐私治理不能只看答案Video-DeepResearch 指向下一代多模态智能体的一项基本能力不仅能回答视频里的问题还能说明自己看了哪里、查了什么、为什么相信这个结论。当视频成为企业知识、设备日志和个人记忆的重要载体可验证的时空研究会比“把视频总结一下”更有价值。参考资料Video-DeepResearch论文 — arXivVideo-DeepResearch项目页Vision-DeepResearch代码仓库