在python中使用urllib2.urlopen获取的html网页不完整

http://apk.hiapk.com/appinfo/...
我想要爬取这个网页中的用户评论
但是却发现使用urllib2.urlopen(request)获取的html页面不完整

代码如图
clipboard.png
clipboard.png

输出如图
clipboard.png

但是实际上这个页面里面是有东西的

clipboard.png
请问一下为什么获取到的html不全呢

阅读 9.7k
1 个回答

不是获取不全,这个页面的评论 是通过javascript后期加载生成的,urllib2.urlopen中返回请求的html,并不会执行页面中的javascript

你直接请求 http://apk.hiapk.com/web/api.... 这个地址就可以返回所有评论了,还是json的,好处理的很

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题