爬虫结合AI实战：自动提取网页正文并生成高质量结构化摘要

做资讯聚合、知识库建设、行业舆情监控这类项目时传统爬虫只能拉回一堆混杂着广告、导航、无关推荐的HTML源码后续的正文提纯、内容摘要、信息结构化全靠人工整理效率极低而简单粗暴地把整页HTML丢给大模型处理又会遇到Token成本飙升、摘要逻辑混乱、输出格式不可控的问题。落地一套可用的AI摘要系统核心不是“爬虫调个大模型API”这么简单而是要做全链路的工程化优化先把网页里的无效信息砍掉80%再通过语义分片解决长文本上下文限制最后用结构化Prompt约束输出质量。我们在内部资讯聚合项目中落地这套方案后人工整理成本下降80%单篇处理成本降低60%摘要信息合格率从62%提升到94%。本文从架构设计、正文提纯、分片策略、Prompt优化到工程落地完整拆解可复现的全流程实现方案。一、整体架构为什么不能是“爬虫直接调API”很多人做的第一版AI摘要就是爬虫抓完页面直接把HTML字符串塞给大模型一句“帮我总结”了事。这种简陋方案在生产环境里完全站不住脚。1.1 简陋方案的三大致命问题成本极高普通资讯页的HTML源码包含大量标签、样式、广告、导航代码有效正文占比通常不足20%。一篇5000字的文章HTML对应的Token量可能超过3万绝大部分都是无效开销。质量极差大模型会被广告、相关推荐、页面噪音干扰摘要里经常混入无关信息甚至出现“小编推荐”“点击关注”这类不属于正文的内容。稳定性差长网页直接超出模型上下文限制报错截断不同网站的页面结构差异大输出质量波动极大完全不可控。1.2 全链路优化架构工业级落地需要六层处理逻辑逐层收敛输入、控制输出质量整体流程如下URL输入网页抓取静态/动态页兼容正文提纯剔除标签/广告/噪音内容清洗过滤无效段落/格式归一语义分片长文按语义切块AI摘要生成结构化Prompt约束结果校验格式/内容合规检查结构化存储核心优化思路是能靠规则解决的绝不消耗大模型Token。把清洗、提纯、分片这些前置工作做扎实后面的AI生成环节才能又快又省又准。二、正文精准提纯先砍掉80%无效Token这是整个流程里投入产出比最高的一步。不要自己写正则、写XPath去抠正文换个网站规则就失效维护成本极高。工业界有成熟的正文提取工具专门做噪音过滤效果远胜手写规则。2.1 工具选型trafilatura 优于 newspaper3k主流的Python正文提取库有两个实测差异非常明显newspaper3k老牌库适配英文站效果不错中文站提取率偏低经常漏段落、混入广告。trafilatura专注正文提取支持多语言对中文资讯、博客、新闻页的适配度极高能精准识别导航、广告、相关推荐、版权声明并剔除提取准确率比前者高30%以上。安装非常简单pipinstalltrafilatura requests2.2 基础提取实现只需要几行代码就能拿到纯净的正文文本自动剔除HTML标签、广告、导航栏、页脚信息importtrafilaturaimportrequestsdeffetch_clean_text(url:str)-str:抓取网页并提取纯净正文try:headers{User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36}resprequests.get(url,headersheaders,timeout15)resp.encodingresp.apparent_encoding htmlresp.text# 核心提取正文自动过滤噪音texttrafilatura.extract(html,include_linksFalse,# 剔除链接include_imagesFalse,# 剔除图片include_tablesTrue,# 保留表格内容deduplicateTrue# 去重重复段落)returntextiftextelseexceptExceptionase:print(f网页抓取失败{url}:{str(e)})return实测下来一篇普通资讯页原始HTML约2.8万Token提取后的正文仅约5000Token无效内容剔除率超过80%单篇处理成本直接降了四倍。2.3 二次清洗进一步压缩无效内容提取后的正文里还可能残留“免责声明”“版权所有”“转载请注明”“相关推荐”这类固定模板内容需要再做一次规则清洗短段落过滤少于10个字的段落直接丢弃大多是分割线、空行、小标题碎片。关键词黑名单匹配“免责声明”“版权声明”“本文转载”“关注我们”这类固定话术整段剔除。格式归一去掉多余的换行、空格统一段落分隔避免无意义的空白占用Token。defclean_text(text:str)-str:正文二次清洗blacklist[免责声明,版权声明,转载请注明,来源,作者,关注我们]linestext.split(\n)clean_lines[]forlineinlines:lineline.strip()# 过滤过短行iflen(line)10:continue# 过滤黑名单内容ifany(wordinlineforwordinblacklist):continueclean_lines.append(line)return\n.join(clean_lines)三、长文本语义分片解决上下文超限问题短文章可以直接丢给大模型但行业报告、深度长文动辄上万字很容易超出模型的上下文窗口。粗暴按字符数硬切会把完整语义拆断导致摘要失真、信息遗漏。3.1 语义优先的分片策略正确的分片逻辑是按段落语义分组而不是按固定字符数切割以自然段落为最小单位不拆分单段内容。按Token数累加达到阈值就切分为一个分片。相邻分片保留1~2个段落的重叠避免语义断层。优先按标题、空行等天然分隔点切分。可以用tiktoken精准计算Token数控制每个分片的大小在模型窗口的70%以内预留空间给Prompt和输出。importtiktoken encodertiktoken.encoding_for_model(gpt-3.5-turbo)defcount_tokens(text:str)-int:计算文本Token数returnlen(encoder.encode(text))defsemantic_split(text:str,max_tokens:int3000,overlap:int1)-list:语义分片按段落切保留重叠paragraphs[pforpintext.split(\n)ifp.strip()]chunks[]current_chunk[]current_len0forparainparagraphs:para_lencount_tokens(para)ifcurrent_lenpara_lenmax_tokensandcurrent_chunk:chunks.append(\n.join(current_chunk))# 保留重叠段落current_chunkcurrent_chunk[-overlap:]ifoverlap0else[]current_lensum(count_tokens(p)forpincurrent_chunk)current_chunk.append(para)current_lenpara_lenifcurrent_chunk:chunks.append(\n.join(current_chunk))returnchunks3.2 长文摘要的 Map-Reduce 思路超过一万字的长文不要指望一次生成完整摘要信息密度会非常差。推荐用两段式生成Map阶段每个分片各自生成局部摘要提炼该部分的核心信息。Reduce阶段把所有局部摘要汇总再生成一次全文摘要保证整体逻辑连贯。这种方式既能处理任意长度的文本又能保证摘要的信息覆盖率比硬塞全文的效果好很多。四、Prompt工程让输出稳定、可控、符合业务需求大模型输出质量波动90%的原因是Prompt写得太随意。一句“帮我总结一下”等于把所有控制权都交给了模型结果自然不可控。4.1 高质量Prompt的四个核心要素角色明确给模型设定具体身份比如“资深资讯编辑”“行业分析师”让输出风格匹配场景。格式固定明确要求输出结构比如总分结构、分点罗列、JSON格式方便后续解析存储。约束清晰限定字数、禁止编造、要求只基于原文、保留关键数据减少幻觉。范围限定明确摘要的侧重点比如技术要点、商业信息、事件时间线不要泛泛而谈。4.2 三类即用型Prompt模板模板1通用资讯摘要适合新闻、博客你是一名资深资讯编辑请根据以下文章内容生成一份精简摘要。 要求 1. 不超过200字分3句话以内表述 2. 提炼核心事件、关键数据、核心结论 3. 只基于原文内容不得编造信息不要加入主观评价 4. 保留时间、主体、核心结果三个关键要素 文章内容 {content} 摘要模板2技术文章结构化摘要适合技术博客、文档你是一名技术编辑请根据以下技术文章输出结构化摘要。 严格按照JSON格式返回包含以下字段 - core_topic: 文章核心主题15字以内 - key_points: 核心技术要点数组形式3-5条 - tech_stack: 涉及的技术栈数组形式 - conclusion: 文章结论50字以内 注意所有内容必须完全来自原文不得补充编造。 文章内容 {content}模板3行业报告深度摘要适合长文、报告你是一名行业分析师请根据报告内容生成深度摘要。 要求 1. 先给出一句话核心结论 2. 分3个维度展开分析行业现状、核心趋势、风险与机会 3. 保留原文中的关键数据、百分比、排名信息 4. 总字数控制在500字以内 报告内容 {content}4.3 强制结构化输出技巧要让100%的请求都返回标准JSON不要靠模型自觉要用工具调用Function Calling或者官方JSON模式约束。以OpenAI兼容接口为例fromopenaiimportOpenAI clientOpenAI(api_keyyour_api_key,base_urlyour_base_url# 国内模型通用兼容格式)defgenerate_summary(text:str)-dict:生成结构化摘要强制JSON输出responseclient.chat.completions.create(modelgpt-4o-mini,response_format{type:json_object},# 强制JSON模式temperature0.3,# 降低随机性保证输出稳定messages[{role:system,content:你是专业的内容摘要助手严格按照JSON格式输出摘要结果包含title、summary、keywords三个字段。},{role:user,content:f请为以下文章生成摘要\n{text}}])returneval(response.choices[0].message.content)# 生产环境建议用json.loads把temperature调低到0.2~0.4可以大幅降低输出的随机性相同内容多次调用的结果一致性会明显提升非常适合生产环境。五、工程化落地批量处理、成本控制与容错单篇跑通只是开始批量处理几万、几十万篇网页还要考虑性能、成本、稳定性。5.1 接入Scrapy Pipeline批量自动化处理如果是用Scrapy做批量爬虫只需加一个自定义Pipeline就能实现每抓取一篇文章自动生成摘要并存库# pipelines.pyclassAISummaryPipeline:defprocess_item(self,item,spider):ifitem.get(content):# 清洗正文clean_contentclean_text(item[content])# 生成摘要summary_resultgenerate_summary(clean_content)# 回填到itemitem[summary]summary_result.get(summary,)item[keywords]summary_result.get(keywords,[])item[ai_title]summary_result.get(title,item[title])returnitem5.2 成本优化把Token开销打下来前置清洗做到极致能在规则层去掉的内容绝对不留给大模型。正文提纯这一步已经能省掉70%以上的Token成本。分级调用模型普通短资讯用轻量模型如gpt-4o-mini、通义千问轻量版成本只有大模型的十分之一深度长文、重要报告再用强模型。结果缓存相同URL、相同内容的文章只生成一次摘要结果存缓存库重复抓取直接复用。资讯聚合类场景缓存命中率能到40%以上。控制输出长度Prompt里严格限制字数输出越少成本越低速度也越快。5.3 容错与降级大模型API不是100%稳定必须有降级方案重试机制接口超时、报错时指数退避重试2次不要直接失败。降级方案连续调用失败时自动降级为TextRank算法提取关键词截取首段的简易摘要保证流程不中断。结果校验返回结果做格式检查如果不是合法JSON、或者字数异常就重生成一次避免脏数据入库。六、落地踩坑总结不要直接喂HTML给大模型。这是新手最容易犯的错既浪费钱效果又差正文提纯是必做环节。不要迷信大模型能力。规则能搞定的清洗、格式化、过滤就不要消耗模型能力大模型只做最核心的语义提炼。幻觉问题无法完全消除但可以大幅降低。Prompt里强调“只基于原文”“禁止编造”配合低temperature再加上结果校验能把幻觉出现率降到1%以下。中文场景优先选中文原生模型。很多人默认用GPT但国内模型对中文语境、行业黑话的理解更好价格也更便宜比如通义千问、文心一言的轻量版处理中文摘要的性价比很高。七、进阶拓展方向这套基础方案跑通后可以继续拓展更多能力多模态摘要结合页面中的图片、图表生成图文结合的摘要适合报告、评测类内容。实体与标签提取让大模型同时提取文章中的人物、机构、事件自动打分类标签支撑内容检索。多文档聚合把同一主题的多篇文章汇总生成行业动态周报、事件全景梳理。最后提醒所有网页抓取与内容处理都要严格遵守《网络安全法》与版权相关规定仅采集公开合法数据尊重原作者权益不得用于商业侵权用途。