可视化监控爬虫

最近接到新的需求做可视化监控爬虫,搞了3个小时终于成了。。。
  • 环境搭建
    我是在windows下搭建的环境,在这里只说windows
    InfluxDb,是目前比较流行的时间序列数据库;
    下载地址:https://dl.influxdata.com/influxdb/releases/influxdb-1.7.6_windows_amd64.zip
    安装:解压安装即可,目前的配置文件去掉了admin可视化配置。
    可视化配置:要使用web管理需要下载Chronograf,https://portal.influxdata.com...,下载完直接解压,双击exe程序,在浏览器输入http://localhost:8888/,一开始登录要账户密码,我都用admin就进去了
    Grafana,一个可视化面板(Dashboard),有着非常漂亮的图表和布局展示,功能齐全的度量仪表盘和图形编辑器,支持Graphite、zabbix、 InfluxDB、Prometheus和OpenTSDB作为数据源
    下载地址:Download the zip file
    安装:该zip文件包含一个包含当前Grafana版本的文件夹。将此文件夹解压缩到您希望Grafana运行的任何位置。进入conf目录并复制sample.ini到custom.ini。你应该编辑custom.ini,永远不要defaults.ini。默认的Grafana端口是3000,此端口需要Windows上的额外权限。编辑custom.ini和取消注释http_port配置选项(;是ini文件中的注释字符)并将其更改为类似8080或类似的内容。该端口不应该需要额外的Windows权限。http://127.0.0.1:3000即可启动,默认登录名和密码admin/admin
    influxdb(pip install influxdb)
    Python 3.6
    代码:(借用崔庆才老师的代码:链接:https://cuiqingcai.com/6217.html)
  • 最后结果;

    clipboard.png

  • 意外发现
    influxdb的可视化界面chronograf也呈现出了监控结果。

clipboard.png


zzZ摇篮曲
28 声望2 粉丝

程序猿?菜鸟?我们不只是spider!!!