安装：pip install -U git+https://github.com/my8100/scrapyd.git@add_basic_auth

访问 heroku.com 注册免费账号（注册页面需要调用 google recaptcha 人机验证，登录页面也需要科学地进行上网，访问 app 运行页面则没有该问题），免费账号最多可以创建和运行5个 app。

GitHub 开源 my8100 / logparser 安装 通过 pip: {代码...} 通过 git: {代码...} 使用方法 作为 service 运行 请先确保当前主机已经安装和启动 Scrapyd 通过命令 logparser 启动 LogParser 访问 [链接] (假设 Scrapyd 运行于端口 6800) 访问 [链接] 以获取某个爬虫任务的日志分析详情 配合 ScrapydWeb 实现爬虫进度可视...

请先确保所有主机都已经安装和启动 Scrapyd，如果需要远程访问 Scrapyd，则需将 Scrapyd 配置文件中的 bind_address 修改为 bind_address = 0.0.0.0，然后重启 Scrapyd service。