用MozRepl设置无头Firefox
我想运行一个爬虫,可以在没有X服务器的环境下处理javascript创建的html。 我知道我可以在xvfb下以无头状态运行Firefox,并且我知道如何在Firefox上安装MozRepl,并在使用WWW :: Mechanize进行交互时可以下载并设置模块。
我不知道该怎么做,就是在没有X服务器的环境下,在Firefox上设置MozRepl,以便我安装模块。 任何帮助表示赞赏。
对于无头html + javascript有很多选项(主要归功于Chrome浏览器中使用的Google新玩具Node.js),具体取决于您要使用的语言,但不幸的是,我不知道哪些是基于Firefox的 - 在那里是撬棍,但似乎自2008年以来未更新。
现在firefox已经开始更加紧密地将壁虎与浏览器前端整合在一起,因此基于Firefox的这种软件变得不太可行。
关于node.js,我不太了解Perl的产品,但这里有一些其他的:
然后还有一些非节点选项:
我相信还有一个node.js的python接口(尽管如果它实现了浏览器环境,我不知道),并且有可能在perl空间以及节点上进行工作。
链接地址: http://www.djcxy.com/p/9877.html