爬虫学习笔记

1.判断要爬取的页面是html结构还是json结构，就用检查里找到的节点属性名，去源代码里面搜索。查看网页源代码，如果是有清楚html标签的则为html结构，如：

而如果是这样的，则为json,如：

html结合直接使用网页标题作为url，使用html = etree.HTML(res.text)来整理页面结构；
而如果是json的话，则需要到「检查」-「NetWork」里面找到对应的加载页面，使用加载页面对应的链接作为url，然后使用json_data = json.loads(res.text)整理页面结构。