用node js 模拟浏览器来爬取网页上的数据

在用node js 爬取网站的数据的时候,偶然间发现用我自己的程序并不是所有的网站都可以爬取到,debug的时候发现获取不了网站的源代码,不知道是不是做了什么处理?我现在想模拟浏览器的方式来爬取数据,node js里面有没有这样的模块呢??或者各位大神有没有参考的例子??感谢!!!

阅读 9.4k
1 个回答
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题