影刀RPA 请求头伪装：User-Agent与Referer的正确设置

影刀RPA 请求头伪装User-Agent与Referer的正确设置作者林焱什么情况用这个有些网站的API接口你用Python的requests直接调返回403但在浏览器里访问就正常。或者你采集数据时总被检测到是爬虫。差别在哪在请求头Headers。浏览器发出的每个HTTP请求都自带一套请求头——User-Agent你用的什么浏览器、Referer你从哪个页面来的、Accept-Language你的语言偏好而代码发的请求默认没有这些。网站一看请求头不完整直接判定为爬虫。在这里插入图片描述怎么做店群矩阵自动化突破运营极限基础请求头设置headers{User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36,Accept:text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8,Accept-Language:zh-CN,zh;q0.9,en;q0.8,Accept-Encoding:gzip, deflate, br,Referer:https://www.example.com/,Connection:keep-alive,Cache-Control:max-age0,}resprequests.get(https://api.example.com/data,headersheaders)动态Referer# API的Referer应该指向你实际浏览的页面referer_map{https://api.example.com/products:https://www.example.com/shop,https://api.example.com/search:https://www.example.com/search,}defget_with_referer(url,**kwargs):headerskwargs.pop(headers,{})headers[Referer]referer_map.get(url,https://www.example.com/)returnrequests.get(url,headersheaders,**kwargs)在Selenium中设置请求头fromseleniumwireimportwebdriver# pip install selenium-wiredefset_custom_headers(driver):拦截请求并修改请求头definterceptor(request):request.headers[User-Agent]custom UArequest.headers[Referer]https://www.example.com/driver.request_interceptorinterceptor有什么坑坑一User-Agent和实际浏览器版本不匹配现象请求头写着Chrome 120但浏览器指纹检测出其他特征。解决User-Agent要和浏览器的其他特征一致——不能Chrome的UA配Firefox的Accept头。坑二Referer写死了一个值temu店群自动化报活动案例现象所有API请求的Referer都是同一个URL有些网站要求Referer必须和请求的页面路径匹配。解决动态设置Referer或者从Network面板中复制对应接口的真实Referer。坑三只设置UA不设置其他头现象只设置了User-AgentAccept和Accept-Language等头的默认值是Python的requests特征。解决至少设置User-Agent、Accept、Accept-Language三项。总结请求头伪装的核心——从浏览器F12的Network面板复制一整套Headers而不是只设置User-Agent一项。