有哪些开源的爬虫、网页抓取 的框架或工具？

Question

RT.
我知道个python写的scrapy
还有其它优秀的吗，不限语言

Answer 1

可视化的网页内容抓取工具 Portia.
详细介绍（含视频）地址：http://t.cn/8sxRbh3
GitHub地址：http://t.cn/8sJ0mbq

Answer 2

java crawler4j webmagic

Answer 3

我刚发起了一个开源python爬虫的项目，期望给python爬虫开发者节省下来60%的时间，欢迎参与：https://segmentfault.com/a/1190000005088990

Answer 4

推荐大家使用下神箭手云爬虫，完全在云上编写和执行爬虫，不需要配置任何开发环境，快速开发快速实现。

简单几行 javascript 就可以实现复杂的爬虫，同时提供很多功能函数：反反爬虫、 js 渲染、数据发布、图表分析、反防盗链等，这些在开发爬虫过程中经常会遇到的问题都由神箭手帮你解决。