同一个url,谷歌可以访问，其他不行

Question

python爬虫今日头条，返回信息为空。用谷歌访问url可以，其他浏览器不行

用requests请求不了，谷歌浏览器请求有信息，其他浏览器没有

URL:https://www.toutiao.com/api/s...

谷歌：

火狐：

python爬虫和postman请求结果和火狐浏览器一样，有没有大神知道是什么原因?

相关代码

def get_one_index():
    data = {
        'aid': '24',
        'app_name': 'web_search',
        'offset': '20',
        'format': 'json',
        'keyword': '街拍',
        'autoload': 'true',
        'count': '20',
        'en_qc': '1',
        'cur_tab': '1',
        'from': 'search_tab',
        'pd': 'synthesis',
        'timestamp': time.localtime(time.time()),
    }
    url = 'https://www.toutiao.com/api/search/content/?' + urlencode(data)
    url = 'https://www.toutiao.com/api/search/content/?aid=24&app_name=web_search&offset=0&format=json&keyword=%E8%A1%97%E6%8B%8D&autoload=true&count=20&en_qc=1&cur_tab=1&from=search_tab&pd=synthesis&timestamp=1567251397271'
    response = requests.get(url)
    print(url)
    try:
        if response.status_code == 200:
            return response.text
    except RequestException:
        return None

你期待的结果是什么？实际看到的错误信息又是什么？

Answer 1

原因很简单,你啥请求头都不带,人家不把你识别出来才有问题嘞.
而且请求头里面的 cookie 是关键,有才能正确的拿到数据,至于怎么生成的,自行解决,以下是展示结果