在 Kubernetes 中运行 ArchiveTeam 的 Warrior

主要观点:

  • 运行 ArchiveTeam Warrior 项目的官方认可方式是使用可用的设备虚拟机映像,作者更倾向于在自家的 Kubernetes 集群中运行容器。
  • 曾在 Proxmox 虚拟机中运行 Warrior,虽能工作但限制了对时间关键任务的贡献,为 cohost 归档时单实例最多可运行 6 个并发任务。
  • 近期为归档美国政府相关网站和资源重新启动项目,利用其仓库中的 Dockerfile 开始在集群中运行,修改了 Kubernetes 清单以更好地适应环境,如使用环境变量配置、挂载内存型 emptyDir 用于数据存储等。
  • 还编写了一个 Python 脚本用于获取 Warrior 的进度信息,之后与 katia 交流发现 Kubernetes 在 OOMKill 时不会清除内存卷,且发现了 ArchiveTeam 的 =-grab 容器镜像,katia 也有相关的 Kubernetes 清单,作者已将更改推送到仓库。

关键信息:

  • 虚拟机并非作者首选运行应用方式,除非有特殊需求。
  • 在 Proxmox 虚拟机中运行 Warrior 的经历及限制。
  • 新启动的美国政府相关网站归档项目及在集群中的运行方式。
  • 对 Kubernetes 清单的修改细节,如环境变量配置、内存相关设置等。
  • 编写的 Python 脚本及获取进度信息的方式。
  • 与 katia 交流后的发现及后续推送的更改。

重要细节:

阅读 6
0 条评论