主要观点:如今互联网上恶意机器人泛滥,作者运营的《The Cutting Room Floor》网站服务器遭 LLM 爬虫、恶意 DDoS 机器人等攻击。
关键信息:
- LLM 爬虫通过抓取网站所有页面来获取内容,多来自云提供商且难以识别,还有“妄想的存档者”类爬虫。
- DDoS 攻击从 1 月初开始,数千个 IP 同时请求,集中攻击“Special:RecentChangesLinked”等“昂贵”页面,导致服务器瘫痪,之后又攻击随机历史/比较页面。
- 阻止攻击采用多种方法,如利用 Anubis 但不适用该网站,Cloudflare 因政治等原因不可行,先限制访问昂贵页面,再通过 block 阻断来自特定网络(如大量中国相关网络)的攻击,虽对多数用户透明但无辜用户会受影响。
重要细节: - 网站是 PHP 站点,可在索引页插入代码限制访问,登录用户不受影响。
- 可通过 ipinfo 等工具获取 IP 信息并生成 blocklist 放入 nginx 进行阻断。
- 运行该网站是单人操作,可通过 Patreon 或 Ko-fi 支持。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。