大众点评爬虫实战：用 dianping_spider 从零到一搞定店铺与评论数据采集

大众点评爬虫实战用 dianping_spider 从零到一搞定店铺与评论数据采集【免费下载链接】dianping_spider大众点评爬虫全站可爬解决动态字体加密非OCR。持续更新项目地址: https://gitcode.com/gh_mirrors/di/dianping_spider做餐饮市场分析的朋友大概都经历过这种崩溃时刻想研究某个城市的自助餐竞争格局手动复制了二十家店的信息就耗掉一下午刚想抓点用户评论迎面撞上验证码第二天想续跑IP 又被封了。今天要聊的大众点评爬虫项目 dianping_spider就是为解决店铺数据采集 评论抓取这类需求而生的开源方案——它不靠 OCR 识别文字而是直接破解动态字体加密搜索页、详情页、评论页全站可爬且持续更新维护。一次崩溃的手动采集暴露了三个真实问题我认识的一位市场分析师小 A接到过这样一个需求调研大连地区自助餐门店的定价、评分与口碑两周内出报告。她的第一反应是手动采集结果半天下来只存了二十来条记录还发现三个绕不开的坎页面文字是乱码。店铺名、评分、人均价格在网页源码里全是特殊字符复制出来根本读不懂——这正是大众点评的动态字体加密在起作用。频率一高就被拦。连续翻了几页搜索结果页面开始弹出人机验证IP 被临时限流。登录态说没就没。评论数据需要登录身份访问cookie 过期后一切归零重来。这三件事几乎是所有想碰大众点评数据的人共同的遭遇。区别只在于有人选择放弃有人选择找一个能扛住这些反爬手段的工具。大众点评到底在防什么先看懂三道关卡在动手之前值得花两分钟搞清楚对手是谁。第一道字体反爬。通俗讲就是网页把正常的文字伪装成另一套加密字体人和程序读到的都是乱码只有浏览器渲染后才显示正常。传统爬虫在这一步就全军覆没常见替代方案是 OCR 截图识别——慢且容易错。而 dianping_spider 的做法是拿到加密字体文件后直接解出字符映射关系把乱码还原成可读文本速度快、准确率高。第二道频率与 IP 限制。大众点评会监控请求节奏短时间高频访问直接触发人机验证。项目内置了请求 N 次休息 M 秒的分级策略同时支持代理 IP 轮换把触发概率压到最低。第三道登录态与 cookie。评论、电话这类敏感数据必须带 cookie 访问而单账号高频使用容易被封。项目用 cookie 池方案——多个 cookie 轮流上场谁被盯上就换下一个账号整体存活率显著提升。为什么是它三个差异点让我留下它市面上不是没有其他爬虫方案但横向对比后这个项目的差异化足够明显对比维度dianping_spider常见替代方案字体反爬处理直接解密字体映射非 OCROCR 识别慢且易错采集范围搜索、详情、评论全站覆盖往往只覆盖单页面反封策略cookie 池 代理 分级限速单一限速无兜底使用门槛30 参数但大多可默认灵活度低或配置繁琐另一个让我下决心的是模块化设计搜索、详情、评论是三个独立模块既可以走搜索→详情→评论的完整流程也可以跳过搜索直接指定某个店铺 ID 只爬详情或只爬评论。这种自由度恰好匹配我只想要某一个竞对的所有评价这类高频场景。从零到第一份报告这趟旅程的关键决策点下面这段旅程我按拿到项目 → 跑通 → 出数据的真实顺序来走只讲关键决策点不罗列流水账。第一步环境一条命令搞定需要 Python 3 环境然后克隆项目并安装依赖git clone https://gitcode.com/gh_mirrors/di/dianping_spider cd dianping_spider pip install -r requirements.txt依赖下载慢的话可以加清华镜像源-i https://pypi.tuna.tsinghua.edu.cn/simple。到这里环境就绪。第二步config.ini重点只看四处打开config.ini参数虽多但第一版配置只需盯住四处参数作用我的建议keyword搜索关键词先填一个具体品类如自助餐location_id城市代号上海 1、北京 2、广州 4大连 8need_pages搜索多少页首次从 1~2 页起步别贪requests_times请求节奏默认1,2;3,5;10,50就够用requests_times的语义值得多说一句1,2表示每请求 1 次休息 2 秒3,5表示累计到 3 次休息 5 秒10,50表示累计到 10 次休息 50 秒。这是整个项目最重要的防封旋钮——被 ban 了就调大嫌慢就适度调小但别太激进。第三步require.ini采集策略的开关哲学这个文件决定要哪些数据、付出多大代价。两个关键决策点店铺电话need True是要电话need_detail决定要不要完整号码False时只给12345678**。注意完整电话需要登录身份会携带 cookie 请求频繁调用有封号风险建议按需开启。评论抓取need True开启评论more_detail True表示不只抓 10 条精选而是翻页抓更多每页 30 条need_pages控制翻几页。评论是价值密度最高的数据如果只选一个模块先跑我建议选它。第四步跑起来两种姿势完整流程搜索→详情→评论直接运行python main.py定制化场景则用命令行指定比如只要某个店铺的评论python main.py --normal 0 --review 1 --shop_id k30YbaScPKFS0hfP --need_more True第一次跑通后控制台会输出每个阶段的日志搜索到多少家店、详情获取成功与否、评论抓了几页。看到日志里出现数据保存完成这趟旅程就算走通了一半。数据长什么样三张图看懂采集结果数据默认写入 MongoDBsave_mode mongo本地默认端口可不填连接串。采集结果分三层先看搜索结果搜索层拿到的是店铺列表的粗数据足够支撑区域市场概览。再往下是详情层字段更完整——地址、电话、营业时间以及口味/环境/服务三维评分详情页还能带出推荐菜和标签帮你看清一家店的定位和主打产品最后是评论层用户打分、评论正文、点赞数、回复数一应俱全是情感分析和口碑研究的原料配合统计视图你甚至能直接看到好评/差评分布不用再手动归类踩坑实录配置前后效果天差地别这一节是我真实跑过之后最有体感的部分直接上对比场景配置前配置后详情页频繁被 ban默认限速跑两页就警告详情页请求被banrequests_times调大一档重启后稳定单 cookie 遇验证码弹验证码程序卡住等人开use_cookie_pool True把多个 cookie 写进cookies.txt一行一个自动轮换大规模采集被封一个 IP 硬扛半小时后全红开代理use_proxy True配置代理接口配合匿名接口几乎做到无人值守还有一个高频坑想通过加密接口拿更多字段时需要在浏览器开发者工具里找到请求参数uuid和tcv并填入配置。流程是登录点评 → 打开任一店铺详情页 → F12 切到 Network 的 XHR 面板 → 刷新后找allReview请求 → 在参数里复制这两个值这一步看着繁琐但做一次就够——这两个参数有效期很长不像 token 那样几分钟就过期。边界感合规使用才是长期主义最后必须说清楚边界。这个项目仅限学习交流作者也明确禁止商用。实际使用时请守住三条底线控制请求频率别给目标站点造成负担只采集公开的经营数据不碰个人敏感信息遵守平台服务条款。数据采集是一场与反爬机制的长期博弈但守规矩的采集者才能走得远——这也是为什么项目把限速、日志、重试机制都做进了默认配置里。数据到手之后才是真正开始回到开头小 A 的任务现在她可以批量拿到大连自助餐门店的价格、评分、地址和上万条真实评论两周的报告周期压缩到一天。但拿到原始数据只是起点——去重清洗、价格分档、评论分词、情感倾向统计这些才是把数据变成决策的最后一公里。当爬虫把采集这个体力活干掉之后留给你的问题就变成了同一个城市、同一品类评分 Top10 和口碑垫底的店差评里反复出现的高频词是什么想清楚这个问题你才算真正用好了这套大众点评爬虫。如果你在配置阶段卡住了翻一翻项目里docs/下的问题文档比如 cookie 池说明、存储说明、加密接口说明多数答案都在里面。【免费下载链接】dianping_spider大众点评爬虫全站可爬解决动态字体加密非OCR。持续更新项目地址: https://gitcode.com/gh_mirrors/di/dianping_spider创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考