一:什么是爬虫
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,经常被称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
即打开一个网页,里面有网页内容吧,想象一下,有个工具,可以把网页上的内容获取下来,存到你想要的地方,这个工具就是我们今天的主角:爬虫
在PHP中我们实现数据爬虫一般使用的是数据的正则验证来实现的,下面我这里简单介绍下如何使用正则验证来实现数据爬虫
二:使用curl实现html信息拉取
function curl($url)
{
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
//参数为1表示传输数据,为0表示直接输出显示。
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
//参数为0表示不带头文件,为1表示带头文件
curl_setopt($ch, CURLOPT_HEADER,0);
$output = curl_exec($ch);
curl_close($ch);
return $output;
}
三:正则验证获取需要的信息
//$html-被查找的字符串 $tag-被查找的标签 $attr-被查找的属性名 $value-被查找的属性值
function get_tag_data($html,$tag,$attr,$value)
{
$regex = "/<$tag.*?$attr=\".*?$value.*?\".*?>(.*?)<\/$tag>/is";
preg_match_all($regex,$html,$matches,PREG_PATTERN_ORDER);
return $matches[1]; //返回值为数组 查找到的标签内的内容
}
四:简单实现数据爬虫
根据上面的我们就可以获取到指定地址我们需要的指定信息
$url = 'xxx';
$content = crul($url);//获取到指定地址的网页信息
$html = get_tag_data($content,'a','class','text');//获取指定标签的信息
echo($html);
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。