用MozRepl设置无头Firefox

我想运行一个爬虫,可以在没有X服务器的环境下处理javascript创建的html。 我知道我可以在xvfb下以无头状态运行Firefox,并且我知道如何在Firefox上安装MozRepl,并在使用WWW :: Mechanize进行交互时可以下载并设置模块。

我不知道该怎么做,就是在没有X服务器的环境下,在Firefox上设置MozRepl,以便我安装模块。 任何帮助表示赞赏。


对于无头html + javascript有很多选项(主要归功于Chrome浏览器中使用的Google新玩具Node.js),具体取决于您要使用的语言,但不幸的是,我不知道哪些是基于Firefox的 - 在那里是撬棍,但似乎自2008年以来未更新。

现在firefox已经开始更加紧密地将壁虎与浏览器前端整合在一起,因此基于Firefox的这种软件变得不太可行。

关于node.js,我不太了解Perl的产品,但这里有一些其他的:

  • 僵尸(javascript)
  • 水貂(PHP 5.3)(使用僵尸作为后端)
  • 然后还有一些非节点选项:

  • phantomjs(javascript)(使用webkit后端,可能需要安装X)
  • htmlunit(java)
  • akephalos(ruby)(使用htmlunit后端)
  • 我相信还有一个node.js的python接口(尽管如果它实现了浏览器环境,我不知道),并且有可能在perl空间以及节点上进行工作。

    链接地址: http://www.djcxy.com/p/9877.html

    上一篇: Setting up headless Firefox with MozRepl

    下一篇: Using Maven for R projects