问答博客资讯标签用户活动
logo极客观点logo项目管理logoHarmonyOS
开发者社区
javascript
前端
python
node.js
react
vue.js
php
laravel
go
人工智能
mysql
linux
ios
java
android
css
typescript
spring
程序员
logoONES 研发管理logo思否企业问答logo安谋科技 XPU

如何限制一下google的抓取频率

头像
startbbs
    25624963

    现在我的网站显示，google蜘蛛每2-3s就访问一次。造成服务器压力大。
    我试了robots.txt

    User-agent: Googlebot
Crawl-delay: 400

    好像不起作用？有什么好办法没？

    seo
    阅读 5.5k
    1 个回答
    得票最新
    头像
    Xuhao
      3
      新手上路，请多包涵
      撰写回答
      你尚未登录，登录后可以
      • 和开发者交流问题的细节
      • 关注并接收问题和回答的更新提醒
      • 参与内容的编辑和改进，让解决方法与时俱进
      推荐问题