nginx 如何正确屏蔽 \xA3\xA9 \x09 这样的userAgent?

Eisten
  • 454

userAgent 如下:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4 ) AppleWebKit/537.36\ (KHTML,  like Gecko ) \x09\x09\x09Chrome/55.0.2883.95   

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html\xA3\xA9

尝试在 nginx 中屏蔽,代码如下:

if ($http_user_agent ~ "Mozilla/5.0\ \(compatible;\ Baiduspider/2.0;\ +http://www.baidu.com/search/spider.html\\\xA3\\\xA9") { 
    return 403; 
}

发现没有作用,请问如何屏蔽这种userAgent,或者说如何处理 xA3xA9 x09 这样的字符?谢谢

回复
阅读 3.6k
1 个回答

这个是百度蜘蛛的UserAgent吧,如果想要网站不被抓取。
可以配置 robots.txt ,拒绝所有抓取;这样这些请求就不会来了,自然就不用处理。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏