DuckDuckGo 搜索爬取器

](https://www.bright.cn/products/serp-api/duckduckgo-search)本仓库提供两种从 DuckDuckGo 搜索结果页SERPs提取数据的方案免费 DuckDuckGo 爬虫用于小规模抓取 DuckDuckGo 搜索结果的工具企业级 DuckDuckGo SERP API适用于高并发、实时数据提取的可扩展生产级方案隶属于Bright Data 的 SERP Scraper API目录免费 DuckDuckGo SERP 爬虫环境准备快速开始指南示例输出限制DuckDuckGo SERP API主要优势开始使用接入方式直接 API 访问原生代理访问DuckDuckGo 搜索查询参数本地化安全搜索设置时间范围筛选设备定向浏览器仿真实用示例支持与资源免费 DuckDuckGo SERP 爬虫该免费爬虫提供一种简单方式用于小规模收集搜索结果数据。若你仅需有限数据且不想管理代理或处理高并发这是理想选择。环境准备Python 3.9 – 下载 Python依赖包selenium浏览器自动化webdriver-manager浏览器驱动管理beautifulsoup4HTML 解析安装命令pipinstallselenium webdriver-manager beautifulsoup4Web 抓取新手可先阅读我们的Python 入门抓取指南。随后参阅在抓取中使用 Selenium若已熟悉 Selenium可继续阅读高级的 SeleniumBase 指南。快速开始指南打开 duckduckgo-serp-scraper.py。按需自定义搜索词SEARCH_TERMS[ergonomic office chair,coffee maker,]运行脚本开始抓取。示例输出如下为爬虫输出预览限制尽管免费爬虫适合基础任务但需注意以下限制频繁使用容易导致 IP 被封请求量能力有限易频繁触发 CAPTCHA不适合生产环境如需可扩展且稳定的方案请参考下文的专用 API DuckDuckGo SERP APIDuckDuckGo SERP API 是 Bright Data 全面 SERP Scraper API 套件的一部分。它利用我们行业领先的 DuckDuckGo 代理基础设施仅用一次 API 调用即可获取实时 DuckDuckGo 搜索结果。主要优势全球精确度可按任意地区定制结果成功即付费仅为成功请求付费实时数据秒级获取最新结果无限扩展轻松应对高并发抓取成本高效无需昂贵自建基础设施稳定可靠先进防封技术保障一致结果7x24 专家支持随时获得协助 先试后买使用我们的 SERP API 在线演示。开始使用创建 Bright Data 账户新用户可获 $5 额度生成你的API 密钥按照配置指南集成 SERP API接入方式你可以通过以下两种方式将 DuckDuckGo SERP API 集成到你的工作流中直接 API 访问直接请求 Bright Data 的 API 端点。cURL 示例curlhttps://api.www.bright.cn/request\-HContent-Type: application/json\-HAuthorization: Bearer API_TOKEN\-d{ zone: ZONE_NAME, url: https://duckduckgo.com/?qbudgetlaptopsunder500gbpkluk-enkaden-gbdfw, format: raw }Python 示例importrequests urlhttps://api.www.bright.cn/requestheaders{Content-Type:application/json,Authorization:Bearer API_TOKEN}payload{zone:ZONE_NAME,url:https://duckduckgo.com/?qbudgetlaptopsunder500gbpkluk-enkaden-gbdfw,format:raw,}responserequests.post(url,headersheaders,jsonpayload)withopen(duckduckgo-scraper-api-result.html,w,encodingutf-8)asfile:file.write(response.text)print(Response saved!)原生代理访问通过代理路由直接访问搜索结果。cURL 示例curl-i\--proxybrd.superproxy.io:33335\--proxy-user brd-customer-CUSTOMER_ID-zone-ZONE_NAME:ZONE_PASSWORD\-k\https://duckduckgo.com/?qbudgetlaptopsunder500gbpkluk-enkaden-gbdfwPython 示例importrequestsimporturllib3 urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)hostbrd.superproxy.ioport33335usernamebrd-customer-CUSTOMER_ID-zone-ZONE_NAMEpasswordZONE_PASSWORDproxy_urlfhttp://{username}:{password}{host}:{port}proxies{http:proxy_url,https:proxy_url}urlhttps://duckduckgo.com/?qbudgetlaptopsunder500gbpkluk-enkaden-gbdfwresponserequests.get(url,proxiesproxies,verifyFalse)withopen(duckduckgo-scraper-api-result.html,w,encodingutf-8)asfile:file.write(response.text)print(Response saved!)注意在生产环境中使用原生代理方式时建议安装 Bright Data 的 SSL 证书。请参考我们的SSL 证书指南。 想查看完整 HTML 输出预览请参见完整结果。DuckDuckGo 搜索查询参数通过多种查询参数精准调优你的搜索结果。本地化国家与语言kl指定搜索结果的国家与语言。示例curl--proxybrd.superproxy.io:33335\--proxy-user brd-customer-id-zone-zone:password\https://duckduckgo.com/?qbestcoffeebrandsklit-it返回意大利地区的定制化结果。界面语言kad控制 DuckDuckGo 的界面语言。示例https://duckduckgo.com/?qphotoeditingtoolskadde搜索内容保持英文但界面以德语显示。安全搜索设置kp调整成人内容过滤。取值1– 严格-1– 中等-2– 关闭示例https://duckduckgo.com/?qswimsuitkp1仅返回“家庭安全”的结果。时间范围筛选df限定搜索结果的时间范围。取值d– 最近一天w– 最近一周m– 最近一月y– 最近一年自定义范围如2025-03-01..2025-03-10示例https://duckduckgo.com/?qiphone15reviewdfw仅显示最近一周的评测。设备定向brd_mobile模拟来自不同设备类型的搜索。选项0– 桌面端默认1– 随机移动设备ios或iphone– iPhoneipad或ios_tablet– iPadandroid– 安卓手机android_tablet– 安卓平板示例https://duckduckgo.com/?qtoptravelappsbrd_mobileios模拟 iPhone 用户你可能会看到应用商店链接、移动端内容或 AMP 页面。浏览器仿真brd_browser为请求指定浏览器的 User-Agent。选项默认随机浏览器chrome– Google Chromesafari– Safarifirefox– Mozilla Firefox不兼容brd_mobile1示例https://duckduckgo.com/?qbestvpnservicesbrd_browsersafari模拟 Safari 浏览器以便了解该平台上的展示与排名差异。实用示例你希望在英国市场面向移动端用户监测竞争对手“500 英镑以下的预算笔记本”相关页面的定价。目标模拟英国移动端用户获取本地化英文结果英国零售商英镑货币使用移动端 Chrome UA捕获 AMP 等移动特化结果聚焦近期清单类文章或优惠将需求组合成一个 cURL 命令curl--proxybrd.superproxy.io:33335\--proxy-user brd-customer-CUSTOMER_ID-zone-ZONE_NAME:ZONE_PASSWORD\https://duckduckgo.com/?\ qbudgetlaptopsunder500gbp\ kluk-en\ kaden-gb\ dfw\ brd_mobileandroid\ brd_browserchrome 这将获取“移动优先、已本地化、且为近期”的内容。支持与资源文档SERP API 文档相关 APISERP APIGoogle Search APIGoogle News ScraperGoogle Trends APIGoogle Reviews APIGoogle Hotels APIGoogle Flights APIWeb Unlocker API使用场景SEO 与 SERP 追踪旅游行业数据拓展阅读最佳 SERP API联系支持supportbrightdata.com