不要让网站自动重定向Scrapy
如果问题不完整或无益,我真的很抱歉。 我在这方面略有新意。
我刚开始使用Scrapy来抓取数据。 我目前面临的问题是:当我尝试抓取数据时,网站会将我重定向到特定页面。
我打算阻止网站重定向到特定页面。
说实话,我不确定这是否可能。
我到目前为止所尝试的是:
在重定向之后,从那里使用提供的href链接转到所需的页面。在这种情况下,问题是该网站遵循一个循环并将我重定向回到同一页面。
REDIRECT_ENABLED =设置为False。 在这种情况下的问题是,废料出口和脚本停止。
任何帮助将非常感激。
谢谢
链接地址: http://www.djcxy.com/p/89119.html