关于python requests百度搜索至15页搜索结果被自动省略无法跳过

1.想python requests造个百度搜索轮子结果遭遇大坑

url模板是:

url=f"https://www.baidu.com/s?wd={searchText}&cl=0&pn=页数"

headers:

        {'Accept-Encoding':'gzip, deflate, br',
        'Accept-Language': 'en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7',
        'Cache-Control': 'max-age=0',
        'Connection':'keep-alive',
        'Host':'www.baidu.com',
        #'is_xhr':'1',
        'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0',
        #'Referer':'',
        #'is_referer':'',
        'X-Requested-With':'XMLHttpRequest'}

for循环至十五页就遇上了:
>提示:为了提供最相关的结果,我们省略了一些内容相似的条目
电脑浏览器可以绕过
请问百度其是否有检测机制,如何绕过,?

阅读 630
评论
    0 个回答
    撰写回答

    登录后参与交流、获取后续更新提醒