在用node js 爬取网站的数据的时候,偶然间发现用我自己的程序并不是所有的网站都可以爬取到,debug的时候发现获取不了网站的源代码,不知道是不是做了什么处理?我现在想模拟浏览器的方式来爬取数据,node js里面有没有这样的模块呢??或者各位大神有没有参考的例子??感谢!!!
在用node js 爬取网站的数据的时候,偶然间发现用我自己的程序并不是所有的网站都可以爬取到,debug的时候发现获取不了网站的源代码,不知道是不是做了什么处理?我现在想模拟浏览器的方式来爬取数据,node js里面有没有这样的模块呢??或者各位大神有没有参考的例子??感谢!!!
5 回答4.9k 阅读✓ 已解决
4 回答4.5k 阅读✓ 已解决
1 回答3.4k 阅读✓ 已解决
4 回答3.9k 阅读✓ 已解决
3 回答2.2k 阅读✓ 已解决
4 回答2.5k 阅读✓ 已解决
1 回答4.5k 阅读✓ 已解决
https://github.com/GoogleChro...
google官方出的headless Chrome了解一下