不要让网站自动重定向Scrapy

如果问题不完整或无益,我真的很抱歉。 我在这方面略有新意。

我刚开始使用Scrapy来抓取数据。 我目前面临的问题是:当我尝试抓取数据时,网站会将我重定向到特定页面。

我打算阻止网站重定向到特定页面。

说实话,我不确定这是否可能。

我到目前为止所尝试的是:

  • 在重定向之后,从那里使用提供的href链接转到所需的页面。在这种情况下,问题是该网站遵循一个循环并将我重定向回到同一页面。

  • REDIRECT_ENABLED =设置为False。 在这种情况下的问题是,废料出口和脚本停止。

  • 任何帮助将非常感激。

    谢谢

    链接地址: http://www.djcxy.com/p/89119.html

    上一篇: Don't Allow Website automated Redirect Scrapy

    下一篇: How to redirect twice in Django?