向各位老哥求一个蜘蛛统计代码，并且有独立的分析页面？

Question

做站群使用，需要统计蜘蛛，域名比较多，故此需要找一个蜘蛛统计代码

Answer 1

要统计蜘蛛抓取情况，你可以使用 server-side 的日志分析方法。以下是一个简单的 Python 示例，用于分析 Nginx 或 Apache 的访问日志，统计搜索引擎蜘蛛的抓取情况。创建一个名为 spider_analyzer.py 的 Python 脚本，把以下代码粘贴到脚本中：

import sys
import pandas as pd

logfile = sys.argv[1] if len(sys.argv) > 1 else "access.log"

# 从日志文件中读取数据
with open(logfile) as f:
    data = f.readlines()

# 解析日志文件
log_data = []
for line in data:
    parts = line.split(" ")
    if len(parts) > 10:
        log_data.append(
            {
                "ip": parts[0],
                "date": parts[3][1:],
                "request": parts[5][1:],
                "status": parts[8],
                "agent": " ".join(parts[11:]),
            }
        )

df = pd.DataFrame(log_data)

# 定义蜘蛛 User-Agent
spider_agents = [
    "Googlebot",
    "Bingbot",
    "Baiduspider",
    "YandexBot",
    "Sogou",
]

# 筛选蜘蛛请求
spider_df = df[df["agent"].str.contains("|".join(spider_agents))]

# 按蜘蛛类型和日期汇总统计
spider_summary = (
    spider_df.groupby(spider_df["agent"].str.extract("(" + "|".join(spider_agents) + ")", expand=False))
    .size()
    .reset_index(name="count")
)

print(spider_summary)

将这个脚本上传到服务器，放在访问日志所在的目录。例如，对于 Nginx，通常是 /var/log/nginx/ 目录。运行这个脚本以分析日志文件。
python3 spider_analyzer.py access.log

Answer 2

有很多第三方的蜘蛛统计工具可以使用，比如百度统计、Google Analytics、CNZZ等。这些工具都提供了蜘蛛统计功能，并且拥有独立的分析页面。

如果你希望使用自己的代码进行蜘蛛统计，可以考虑以下几种方案：

1. 通过后端记录日志进行统计：你可以在后端记录每个请求的User-Agent信息，通过分析日志来统计蜘蛛的数量和访问情况。但是这种方式需要自己编写日志分析工具，比较麻烦。
2. 使用JavaScript进行统计：你可以通过在网站中嵌入JavaScript代码来统计蜘蛛的访问情况。这种方式相对比较简单，但是需要注意一些问题，比如要排除一些常见的蜘蛛，避免重复计算。

以下是一个简单的JavaScript蜘蛛统计代码示例：

var spiderUrl = 'http://yourdomain.com/spider.php';

var spiderList = {
    'Googlebot': 'Google',
    'Bingbot': 'Bing',
    'Baiduspider': 'Baidu',
    'Sogou': 'Sogou',
    'YandexBot': 'Yandex',
    // 其他蜘蛛的User-Agent和名称
};

var userAgent = navigator.userAgent;
for (var spiderName in spiderList) {
    if (userAgent.indexOf(spiderName) > -1) {
        var spider = spiderList[spiderName];
        var img = new Image();
        img.src = spiderUrl + '?spider=' + encodeURIComponent(spider);
        break;
    }
}

以上代码将会在发现蜘蛛访问时，向指定的URL发送一张1像素的图片请求，从而实现蜘蛛统计。

需要注意的是，以上代码只是一个示例，实际应用时需要根据自己的需求进行修改和调整。