CasperJS / PhantomJS比Curl慢得多
当我尝试curl www.yelp.com
它需要1.1秒。 但是使用CasperJS检索页面需要一分钟!
这是正常的吗? 我如何找出什么在减缓casper / phantom下降? 我怀疑其casper没有遵循的一些HTTP重定向?
var casper = require('casper').create();
var url = 'http://www.yelp.com';
casper.start(url);
casper.then(function() {
console.log( this.getHTML() );
this.exit();
});
casper.run();
你在Windows上吗? 如果是,则在使用自动代理时会出现神秘的网络问题。 有关更多详细信息,请参阅发行说明:http://phantomjs.org/release-1.9.html。
一般来说,尝试分析网络请求和响应。 跟踪网络流量的一种非常简单的方法:
page.onResourceRequested = function (request) {
console.log('Request ' + JSON.stringify(request, undefined, 4));
};
page.onResourceReceived = function (response) {
console.log('Receive ' + JSON.stringify(response, undefined, 4));
};
如果您需要时间等,则需要进一步调整。请阅读有关此网络监视功能的文档。
链接地址: http://www.djcxy.com/p/12763.html上一篇: CasperJS/PhantomJS much slower than Curl
下一篇: replacing pronoun with its antecedent using python2.7 and nltk