问题出现的环境背景及自己尝试过哪些方法
相关代码
// 请把代码文本粘贴到下方(请勿用图片代替代码)
public static function getCurlMultiCaiji()
{
for($i=1;$i<=3;$i++){
$url[]="https://www.haoyunbang.cn/zhishi/?page=$i";
}
//采集规则
QueryList::run('Multi',[
//待采集链接集合
'list' => $url,
'curl' => [
'opt' => array(
//这里根据自身需求设置curl参数
CURLOPT_SSL_VERIFYPEER => false,
CURLOPT_SSL_VERIFYHOST => false,
CURLOPT_FOLLOWLOCATION => true,
CURLOPT_AUTOREFERER => true,
),
//设置线程数
'maxThread' => 100,
//设置最大尝试数
'maxTry' => 3
],
'success' => function($a){
//采集规则
$reg=[
//图片
"img"=>[".m_t_30 .topic_hot_ul li a img",'src'],
//标题
"title"=>[".m_t_30 .topic_hot_ul li a .fr h5",'html'],
"describe"=>[".m_t_30 .topic_hot_ul li a .line_two",'html'],
//url
"url"=>[".m_t_30 .topic_hot_ul li a",'href'],
];
$data = QueryList::Query($a['content'],$reg)->getData(function($item){
dump($item);
//获得内容页面url地址
$new_url = 'https://www.haoyunbang.cn' . $item['url'];
//猫眼内容的获取规则
$new_reg = [
'content' => ['.bkpost .post_content', 'html'],
'time' => ['.bkpost .laiyuan span:eq(1)', 'html'],
];
$new_data=QueryList::Query($new_url,$new_reg)->data;
//内容转html格式->合并
$item['content'] = htmlspecialchars($new_data[0]['content']);
$item['time'] =$new_data[0]['time'];
//返回数据
$data =$item;
return $data;
});
}
]);
}### 问题描述