SF
互联网业务风险控制
互联网业务风险控制
注册登录
关注博客
注册登录
主页
关于
RSS
什么样的爬虫才是好爬虫:Robots协议探究
岂安科技
2016-08-18
阅读 4 分钟
8.7k
网站的管理者们通常会有这样一种心态:一方面期待百度、Google这样的搜索引擎来抓取网站的内容,另一方面又很厌恶其他来路不明的网络爬虫抓取自己的信息。正是因为这样,才有“好爬虫”、“坏爬虫”这样的说法。