关于克莱武

主要观点:Clew 是区别于其他的网络搜索引擎,专注于独立创作者的作品,非广告支持,搜索排名无偏且平等应用标准,还考虑商业搜索引擎不会考虑的变量。
关键信息

  • 聚焦独立创作内容,不索引维基百科。
  • 由 Benjamin Hollon 热爱开发且靠捐赠支持。
  • 资金来源不依赖营利企业,搜索排名公正。
  • 名字“Clew”有寓意,像希腊神话中引导的线团。
  • 其网络爬虫名为 Ariadne,可通过 robots.txt 控制其爬取。
    重要细节
  • 可在 robots.txt 中设置 Disallow: / 阻止 Ariadne 爬取网站。
  • 缓存 old /robots.txt 24 小时,更改后可能一周多才能从索引中删除受影响页面。
  • 可设置 Crawl-delay 控制爬取速度,默认 2 秒,最高 120 秒,有些网站设置过高可能无效。
阅读 25
0 条评论