关于爬虫!有人爬过discuz论坛吗?

Codermin
  • 556

想直接用对方的接口,而不是将爬到的数据插入自己的数据库。什么图片、数据啊都是用对方的,可能会多个ip共用一个cookie,这样会不会被对方发现?

有没有这方面的爬虫大神交流下~~

回复
阅读 358
1 个回答

听你的描述,估计你是个新手, 对方有接口你去拿数据就不叫爬虫叫接口对接,接口对接也就不会有共用cookie,被发现等问题。

论坛我看了下,应该是没有接口,所以你要拿数据还是要爬虫,爬虫拿数据也可分两种:解析网页(数据嵌在html里),识破接口(纯数据 目前基本都是这个)。

数据不插入自己的数据库,这个要看你的需求,如果你自己不存份档 直接是将你的服务做为一个数据中转也是行的

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
你知道吗?

宣传栏