php 爬虫工具

Question

只用过phpquery，不知道大家有没有其他好的抓取页面的工具

Answer 1

额,爬虫工具其实有很多,主要看业务的使用,我这里搞一些推荐吧
国外很火的:
Goutte 直接composer就能用,
Embed 直接composer就能用,
这些其实都有记录的,
我给你几个地址:
awesome-web-scraping,专门介绍爬虫的,主要看PHP这块
awesome-php,这个是介绍PHP的一些常用东西的,看Scraping和HTTP栏目

Answer 2

https://doc.phpspider.org/
phpspider不错，支持redis支持多线程，

Answer 3

http://symfony.com/doc/curren...

Answer 4

queryList 是在phpquery基础上分装的 你可以试试

Answer 5

我之前用phpcrawl写过一个简单的爬虫，感觉还行，支持xpath和正则。

Answer 6

phpspider

Answer 7

爬虫还是推荐用 python 的爬虫框架
比如：scrapy