由于Phantomjs貌似存在内存泄漏,内存使用越来越大,想每爬一个连接都打开关闭Phantomjs一次释放内存,这个怎么实现,高手指点下
scrapy要用phantomjs应该要改写中间件吧, 那你在中间件里开启和关闭就行吧。
对phantomjs来说,不建议打开太多的page,page用完要及时close。能详细说一下memory leak的场景吗?
1 回答916 阅读✓ 已解决
2 回答2.4k 阅读
2 回答4.7k 阅读✓ 已解决
3 回答9.3k 阅读✓ 已解决
1 回答3.4k 阅读✓ 已解决
1 回答4.6k 阅读
1 回答2.1k 阅读✓ 已解决
scrapy要用phantomjs应该要改写中间件吧, 那你在中间件里开启和关闭就行吧。