想用python爬取新闻网站,为什么不同文章的xhr链接却是一样的?

def news_crawler():
    recommend_list = []

    url = "https://www.infoq.cn/public/v1/article/getIndexList"
    r = requests.get(url)
    r.encoding = 'utf-8'
    r_json = r.json()
    r_json = r_json['data']['recommend_list']

    for i in range(len(r_json)):
        title = r_json[i]['article-title']
        module = 2
        author = r_json[i]['author']['nickname']
        browse_time = 0
        preference = 1
        abst = "Lorem ipsum dolor sit amet, consectetur adipisicin..."
        uuid = r_json[i]['uuid']
        content = get_news_content(uuid)

新手练习,想用python爬取infoq网站的新闻,但发现他们的网站,明明是不同的文章,但加载的时候xhr链接(上述代码中的url变量)是一样的?这样的话它们怎么区分不同的文章?

clipboard.png

阅读 3k
2 个回答

你这是列表的接口,又不是文章详情的接口

楼主,你有没有发现你打开文章后,网址末尾都是一段字符吗(fgsjkHhkGh46hjdj)?你上面那张图,你在往下看topic有 uuid, 就是那串字符了。
直接在elements那里抓吧

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题