主要观点:Clew 是区别于其他的网络搜索引擎,专注于独立创作者的作品,非广告支持,搜索排名无偏且平等应用标准,还考虑商业搜索引擎不会考虑的变量。
关键信息:
- 聚焦独立创作内容,不索引维基百科。
- 由 Benjamin Hollon 热爱开发且靠捐赠支持。
- 资金来源不依赖营利企业,搜索排名公正。
- 名字“Clew”有寓意,像希腊神话中引导的线团。
- 其网络爬虫名为 Ariadne,可通过 robots.txt 控制其爬取。
重要细节: - 可在 robots.txt 中设置 Disallow: / 阻止 Ariadne 爬取网站。
- 缓存 old /robots.txt 24 小时,更改后可能一周多才能从索引中删除受影响页面。
- 可设置 Crawl-delay 控制爬取速度,默认 2 秒,最高 120 秒,有些网站设置过高可能无效。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。