django 如何获取蜘蛛来访日志记录？

Question

自己用django 开发了个简单的网页，

想知道每天被搜索引擎抓取记录，特请教django 如何查看被搜索引擎爬取的记录和次数呢

Answer 1

这种应该要自己去实现中间件，分析每个request的特点，如果是被搜索引擎请求，这个request应该会和一般用户的request有所区别，记录几个关键的搜索引擎就可以了吧 。

Answer 2

各家搜索引擎爬虫都有自己的IP段，利用IP来判断更可靠一些

Answer 3

一般是根据请求header的UserAgent来判断是不是搜索引擎爬虫。
比如："Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/s...)" 这个是百度的。
"Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" 这个是必应的。

你搜一下：搜索引擎爬虫UserAgent，有一大堆别人整理的。