怎么用Node.js写爬虫抓取自己QQ空间的所有日志信息?

一开始学爬虫,也打算借此完成自己备份之前QQ空间日志信息的目的。

参考了文章https://segmentfault.com/a/11...

但是发现QQ空间整个日志列表是内嵌在一个<iframe>中的,其中的链接指向一个日志中转页面,直接打开后本无页面显示。

无法找到准确的url,所以觉得这个问题不是那么简单。

似乎还涉及到登陆等模仿用户行为的问题,希望做过这方面的大神指点一二,不甚感激。

阅读 4.3k
3 个回答

我当时是使用的selenium+phantomjs来在iframe之间跳转。

你可以直接对着它的ajax请求的api采集。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题
宣传栏