爬虫管理平台Crawlab 社区版 v0.5.0发布

MarvinZhang

前言

本次更新包括几个部分:

  1. 爬虫市场
  2. 批量操作
  3. 数据库底层优化

更新日志

功能 / 优化

  • 爬虫市场. 允许用户下载开源爬虫到 Crawlab.
  • 批量操作. 允许用户与 Crawlab 批量交互,例如批量运行任务、批量删除爬虫等等.
  • 迁移 MongoDB 驱动器至 MongoDriver.
  • 重构优化节点逻辑代码.
  • 更改默认 task.workers 至 16.
  • 更改默认 nginx client_max_body_size 为 200m.
  • 支持写日志到 ElasticSearch.
  • 在 Scrapy 页面展示错误详情.
  • 删除挑战页面.
  • 将反馈、免责声明页面移动到顶部.

Bug 修复

  • 修复由于 TTL 索引未创建导致的日志不过期问题.
  • 设置默认日志过期时间为 1 天.
  • task_id 索引没有创建.
  • docker-compose.yml 修复.
  • 修复 404 页面.
  • 修复无法先创建工作节点问题.

参考

社区

如果您觉得 Crawlab 对您的日常开发或公司有帮助,请加作者微信 tikazyq1 并注明 "Crawlab",作者会将你拉入群。欢迎在 Github 上进行 star,以及,如果遇到任何问题,请随时在 Github 上提 issue。另外,欢迎您对 Crawlab 做开发贡献。

阅读 326
124 声望
13 粉丝
0 条评论
你知道吗?

124 声望
13 粉丝
宣传栏