在scrapy中如何为每个爬取的连接打开关闭Phantomjs

由于Phantomjs貌似存在内存泄漏,内存使用越来越大,想每爬一个连接都打开关闭Phantomjs一次释放内存,这个怎么实现,高手指点下

阅读 3.3k
2 个回答

scrapy要用phantomjs应该要改写中间件吧, 那你在中间件里开启和关闭就行吧。

对phantomjs来说,不建议打开太多的page,page用完要及时close。能详细说一下memory leak的场景吗?

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进