https://www.baidu.com/robots.txt
curl https://www.baidu.com/robots.txt
User-agent: Baiduspider
Disallow: /baidu
Disallow: /s?
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
User-agent: Googlebot
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
请问,这个cpro是什么文件夹?
百度还有个 shifen 文件夹?汉语拼音吧?什么含义呢?
robots.txt是用来禁止搜索引擎对某个子域名进行抓取,所以cpro是什么意思只有百度自己知道了,不过你访问一下,大概能猜到,应该是和网盟有关(百度推广)。