scrapy如何设置引荐来源网址
问题内容:
我需要设置引荐来源网址,然后再抓取网站,该网站使用基于引用网址的身份验证,因此如果引荐来源无效,则不允许我登录。
有人可以告诉我如何在Scrapy中执行此操作吗?
问题答案:
如果你想在Spider的请求中更改引荐来源网址,则可以DEFAULT_REQUEST_HEADERS在settings.py文件中进行更改:
DEFAULT_REQUEST_HEADERS = {
'Referer': 'http://www.google.com'
}