关于爬虫！有人爬过discuz论坛吗？

Question

想直接用对方的接口，而不是将爬到的数据插入自己的数据库。什么图片、数据啊都是用对方的，可能会多个ip共用一个cookie，这样会不会被对方发现？

有没有这方面的爬虫大神交流下~~

Answer 1

听你的描述，估计你是个新手， 对方有接口你去拿数据就不叫爬虫叫接口对接，接口对接也就不会有共用cookie，被发现等问题。

论坛我看了下，应该是没有接口，所以你要拿数据还是要爬虫，爬虫拿数据也可分两种：解析网页（数据嵌在html里），识破接口（纯数据 目前基本都是这个）。

数据不插入自己的数据库，这个要看你的需求，如果你自己不存份档 直接是将你的服务做为一个数据中转也是行的