无头,脚本化Firefox / Webkit的Linux?

我期望自动化一些网络交互,即定期从安全网站下载文件。 这基本上涉及输入我的用户名/密码和导航到适当的URL。

我尝试了Python中的简单脚本,然后是更复杂的脚本,只是发现这个特定的网站正在使用一些令人讨厌的基于JavaScript和Flash的登录机制,导致我的方法无用。

然后我尝试了HTMLUnit,但似乎也不想工作。 我怀疑使用Flash是个问题。

我真的不想再考虑它了,所以我倾向于使用脚本编写实际的浏览器来登录并获取我需要的文件。

要求是:

  • 在Linux服务器上运行(即不运行X)。 如果我真的需要让XI能够做到这一点,但我不会很高兴。
  • 可靠。 我想开始这件事,不要再想这件事。
  • 可以编写脚本。 没有太复杂的,但我应该能够告诉浏览器采取的各种步骤和页面访问。
  • 对于无头X无脚本浏览器,有没有好的工具包? 你有没有尝试过这样的事情,如果有的话,你有任何智慧的话?


    我用IE嵌入式浏览器做了相关的任务(虽然它是带有隐藏浏览器组件面板的gui应用程序)。 实际上,您可以采用任何布局引擎并切断输出逻辑。 导航应该通过发射类似脚本的事件来完成。

    你可以使用Crowbar。 它是Firefox的无头版本(Gecko引擎)。 它将浏览器变成可接受请求的RESTful服务器(“提取url”)。 所以它解析html,将其表示为DOM,等待所有执行脚本的定义延迟。

    它适用于Linux。 我想你可以使用JS和丰富的XULrunner功能轻松扩展它。


    那么phantomjs呢?


    你有没有试过Selenium? 它将允许您使用Firefox的扩展程序来记录使用情况,该扩展程序稍后可以使用多种不同的方法进行回放。

    编辑:我只是意识到这是一个非常晚的反应。 :)

    链接地址: http://www.djcxy.com/p/57509.html

    上一篇: Headless, scriptable Firefox/Webkit on linux?

    下一篇: Starting to use Maven on existing project without losing GIT history