go + influxdb + grafana 日志监控系统

2018-12-13
阅读 7 分钟
5.6k
docker 运行 influxdb grafana docker 启动 influxdb {代码...} docker 启动 grafana {代码...} 配置 grafana 数据源 PS Access 使用 Server 即可 go 项目 编写 go 代码 本代码完全照搬慕课网视频教程 {代码...} 编写启动脚本 (稍后用 docker 部署时使用) {代码...} 编译 go 项目 {代码...} 编写Dockerfile {代码...} 编...

主机Nginx + Docker WordPress Mysql搭建

2018-11-13
阅读 4 分钟
9.1k
环境 Linux 3.10.0-693.el7.x86_64 Docker version 18.09.0 docker-compose version 1.17.0 安装 安装 docker 所需依赖 {代码...} 安装 docker-ce {代码...} 安装 docker-compose {代码...} 编写 docker-compose.yml {代码...} {代码...} 运行容器 {代码...} 现在可以用 http://ip:port 来访问。如果发现无法访问,可以 ...

安装 gitlab CI 服务.md

2018-11-09
阅读 3 分钟
4.7k
安装 gitlab-ce 安装依赖包 {代码...} 下载 gitlab-ce 镜像 {代码...} 配置 vi /etc/gitlab/gitlab.rb {代码...} 启动gitlab {代码...} 遇到报错 {代码...} stop gitlab yum install libsemanage-static libsemanage-devel 安装CI服务 下载安装CI {代码...} 注册 runner {代码...} 编写脚本 在项目下面创建.gitlab-ci.ym...

Flume + zookeeper + kafka收集Nginx日志

2018-08-26
阅读 5 分钟
3.3k
相关环境 软件 版本 Centos 3.10.0-862.el7.x86_64 jdk 1.8 zookeeper 3.4.10 kafka 1.1.0 flume 1.6.0 Host IP c1 192.168.1.200 c1_1 192.168.1.201 c1_2 192.168.1.202 用户统一为hadoop 前置操作 各主机间启动ssh连接 这一步至关重要,如果没有配置成功,会影响到hadoop,kafka集群之间的连接 {代码...} 其他两台机器...

Scrapy学习(四) 爬取微博数据

2017-02-13
阅读 7 分钟
6.3k
前言 Scrapy学习(三) 爬取豆瓣图书信息 接上篇之后。这次来爬取需要登录才能访问的微博。爬虫目标是获取用户的微博数、关注数、粉丝数。为建立用户关系图(尚未实现)做数据储备 准备 安装第三方库requests和pymongo 安装MongoDB 创建一个weibo爬虫项目 如何创建Scrapy项目之前文章都已经提到了,直接进入主题。 创建Ite...

Scrapy学习(三) 爬取豆瓣图书信息

2017-02-05
阅读 5 分钟
7.1k
有了前两篇的基础,就可以开始互联网上爬取我们感兴趣的信息了。因为暂时还没有学到如何模拟登陆,所以我就先抓像豆瓣这样不需要登陆的网站上的内容。我的开发环境是 Win7 + PyChram + Python3.5 + MongoDB爬虫的目标是豆瓣的日本文学标签下的所有书籍基本信息

Scrapy学习(二) 入门

2017-02-05
阅读 2 分钟
3.1k
快速入门 接上篇Scrapy学习(一) 安装,安装后,我们利用一个简单的例子来熟悉如何使用Scrapy创建一个爬虫项目。 创建一个Scrapy项目 在已配置好的环境下输入 scrapy startproject dmoz 系统将在当前目录生成一个myproject的项目文件。该文件的目录结构如下 {代码...} 接下来我们以dmoz.org为爬取目标。开始变现简单的...

Scrapy学习(一) 安装

2017-02-05
阅读 1 分钟
2.7k
在开篇之前,不得不吐槽一下,配置Scrapy是我搞python后配置环境最久的一次了。我赶紧将四小时的配置过程写下来,以免浪费了这些宝贵的踩坑经验。

编写一个Chrome extension--网页二维码生成

2016-12-14
阅读 4 分钟
2.6k
很早之前就想过要用Chrome扩展开发一些实用的,或者有意思扩展。今天在看了segmentfault的技术周刊后,决定先按照别人写过的东西去抄一遍模仿的做一遍。