【问题解决了,我的cookie过期了。。。】
毕业设计要求做新浪微博的数据分析,然后我打算用python写爬虫。经过查资料,我能找到当新浪微博加载的"下一页"之类的json数据,但是页面最开始(第一页)的内容却找不到。
比如我爬取http://huati.weibo.com/k/广州下雪?retcode=6102
我找到了当拖到页面底部的时候,微博用
http://weibo.com/p/aj/v6/mblog/mbloglist?ajwvr=6&domain=100808&k=%E5%B9%BF%E5%B7%9E%E4%B8%8B%E9%9B%AA&from=526&_from_=huati_topic&pre_page=1&page=1&max_id=&end_id=3936997230449888&pagebar=0&filtered_min_id=&pl_name=Pl_Third_App__9&id=1008082953797524284b78e138596608638001&script_uri=/p/1008082953797524284b78e138596608638001&feed_type=1&tab=home¤t_page=1&since_id=2399999985&domain_op=100808&__rnd=1454218643270
这样的链接来获取新的页面
但是我用python爬下来的页面,本来应该有微博数据的地方(script标签里的json数据),却与页面上不一样。
我在Chrome中看到的是这样的:

在146行后面就是保存在json里面的HTML数据
但是我用python爬下来跟上面的一样,就是json里面保存的html数据不对。
我感觉它应该是有个ajax请求,但是用LIVE HTTP Headers跟Chrome的Network翻了好多遍,就是找不到……
请问如何才能在找到这个ajax请求呢?