Go进阶45:Golang简洁的日志收集系统(替代ELKB)

golang_es_coverage.png

0. 原文地址: https://mojotv.cn/go/golang-ELKB

1. 背景

不废话,
Golang 日志查看疼点

  1. linux查看日志,一般开发者对linux命令不是很熟悉, 搜索日志更加难上加难
  2. JAVA生态 ELKB 日志收集搭建复杂,
  3. 需要的是一个快速查看搜索,客户端来搜索日志

1.1 前期准备

我们可以使用logrus hook 快速的输出日志到Elastic Search 在使用Chrome Elastic Search GUI插件快速的定位你想用的日志.

  1. 收集日志: https://github.com/sirupsen/l...
  2. 日志保存: docker elastic-search 数据库 : docker run -d --name es.dev -p 9201:9200 -p 9301:9300 -e "discovery.type=single-node" elastic/elasticsearch:6.7.1
  3. ES客户端: chrome插件 Chrome Plugin ElasticSearch Head

2. 安装ES数据库

你可以去网上搜搜索 es数据库安装,在本教程中我们就来安装一个 docker es 单节点 (处理golang日志性能足够)

  • 拉取镜像 docker pull elasticsearch:6.7.0
  • 安装docker docker run -d --name mojocn.es -p 9201:9200 -p 9301:9300 -e "discovery.type=single-node" elastic/elasticsearch:6.7.1

这样就您就启动了一个 名字为 mojocn.es 端口 9201的单节点数据库.

3. 编写实现 logrus HOOK interface (核心代码)

main.go 完整代码: https://github.com/mojocn/eslogrushook

package main

import (
    "context"
    "fmt"
    "github.com/olivere/elastic"
    "github.com/sirupsen/logrus"
    "log"
    "os"
    "strings"
    "time"
)

//cfg 配置文件
type cfg struct {
    LogLvl     string   // 日志级别
    EsAddrs    []string //ES addr
    EsUser     string   //ES user
    EsPassword string   //ES password
}

//setupLogrus 初始化logrus 同时把logrus的logger var 引用到这个common.Logger
func setupLogrus(cc cfg) error {
    //logFileName := fmt.Sprintf("%s_%s.log", os.Args[1], time.Now().Format("06_01_02T15_04_05"))
    //
    //f, err := os.Create(logFileName)
    //if err != nil {
    //    return err
    //}

    logLvl, err := logrus.ParseLevel(cc.LogLvl)
    if err != nil {
        return err
    }
    logrus.SetLevel(logLvl)
    //logrus.SetReportCaller(true)
    //logrus.SetFormatter(&logrus.JSONFormatter{})
    //使用console默认输出

    //logrus.SetOutput(f)

    logrus.SetReportCaller(true)
    //开启 logrus ES hook
    esh := newEsHook(cc)
    logrus.AddHook(esh)
    fmt.Printf(">= error 级别,查看日志 %#v  中的logrus* 索引\n", cc.EsAddrs)

    return nil
}
func main() {
    cc := cfg{
        LogLvl:     "error",
        EsAddrs:    []string{"http://es.felix.mojotv.cn:9202/"},
        EsUser:     "",
        EsPassword: "",
    }
    err := setupLogrus(cc)
    if err != nil {
        log.Fatal(err)
    }
    logrus.WithField("URI", "mojotv.cn").Error("I love my son Felix")
    //等待日志发送到ES
    time.Sleep(time.Second * 10)
}

//esHook 自定义的ES hook
type esHook struct {
    cmd    string // 记录启动的命令
    client *elastic.Client
}

//newEsHook 初始化
func newEsHook(cc cfg) *esHook {
    es, err := elastic.NewClient(
        elastic.SetURL(cc.EsAddrs...),
        elastic.SetBasicAuth(cc.EsUser, cc.EsPassword),
        elastic.SetSniff(false),
        elastic.SetHealthcheckInterval(15*time.Second),
        elastic.SetErrorLog(log.New(os.Stderr, "ES:", log.LstdFlags)),
        //elastic.SetInfoLog(log.New(os.Stdout, "ES:", log.LstdFlags)),
    )

    if err != nil {
        log.Fatal("failed to create Elastic V6 Client: ", err)
    }
    return &esHook{client: es, cmd: strings.Join(os.Args, " ")}
}

//Fire logrus hook interface 方法
func (hook *esHook) Fire(entry *logrus.Entry) error {
    doc := newEsLog(entry)
    doc["cmd"] = hook.cmd
    go hook.sendEs(doc)
    return nil
}

//Levels logrus hook interface 方法
func (hook *esHook) Levels() []logrus.Level {
    return []logrus.Level{
        logrus.PanicLevel,
        logrus.FatalLevel,
        logrus.ErrorLevel,
    }
}

//sendEs 异步发送日志到es
func (hook *esHook) sendEs(doc appLogDocModel) {
    defer func() {
        if r := recover(); r != nil {
            fmt.Println("send entry to es failed: ", r)
        }
    }()
    _, err := hook.client.Index().Index(doc.indexName()).Type("_doc").BodyJson(doc).Do(context.Background())
    if err != nil {
        log.Println(err)
    }

}

//appLogDocModel es model
type appLogDocModel map[string]interface{}

func newEsLog(e *logrus.Entry) appLogDocModel {
    ins := map[string]interface{}{}
    for kk, vv := range e.Data {
        ins[kk] = vv
    }
    ins["time"] = time.Now().Local()
    ins["lvl"] = e.Level
    ins["message"] = e.Message
    ins["caller"] = fmt.Sprintf("%s:%d  %#v", e.Caller.File, e.Caller.Line, e.Caller.Func)
    return ins
}

// indexName es index name 时间分割
func (m *appLogDocModel) indexName() string {
    return "mojocn-cn-" + time.Now().Local().Format("2006-01-02")
}

go run main.go 日志输出

>= error 级别,查看日志 []string{"http://i.love.mojotv.cn:9202/"}  中的logrus* 索引
time="2020-07-17T17:26:03+08:00" level=error msg=lld func=main.main file="D:/GolandProjects/logrusEsHook/main.go:59" URI=mojotv.cn

4. Chrome 插件 ElasticSearch Head 日志查看

  1. 配置ES 连接地址
  2. 查看/搜索 logrus日志

logrus_es_hook.png


golang后端
Go语言后端技术分享,希望 [链接]的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交...

mojotv.cn

447 声望
33 粉丝
0 条评论
推荐阅读
Go语言详解:HTTP断点续传多线程下载原理
原文地址:Go语言详解:HTTP断点续传多线程下载原理

mojotv_cn阅读 2.1k

前端如何入门 Go 语言
类比法是一种学习方法,它是通过将新知识与已知知识进行比较,从而加深对新知识的理解。在学习 Go 语言的过程中,我发现,通过类比已有的前端知识,可以更好地理解 Go 语言的特性。

robin23阅读 3.2k评论 6

封面图
Golang 中 []byte 与 string 转换
string 类型和 []byte 类型是我们编程时最常使用到的数据结构。本文将探讨两者之间的转换方式,通过分析它们之间的内在联系来拨开迷雾。

机器铃砍菜刀24阅读 58k评论 2

年度最佳【golang】map详解
这篇文章主要讲 map 的赋值、删除、查询、扩容的具体执行过程,仍然是从底层的角度展开。结合源码,看完本文一定会彻底明白 map 底层原理。

去去100216阅读 11.5k评论 2

年度最佳【golang】GMP调度详解
Golang最大的特色可以说是协程(goroutine)了, 协程让本来很复杂的异步编程变得简单, 让程序员不再需要面对回调地狱, 虽然现在引入了协程的语言越来越多, 但go中的协程仍然是实现的是最彻底的. 这篇文章将通过分析...

去去100215阅读 11.9k评论 4

万字详解,吃透 MongoDB!
MongoDB 是一个基于 分布式文件存储 的开源 NoSQL 数据库系统,由 C++ 编写的。MongoDB 提供了 面向文档 的存储方式,操作起来比较简单和容易,支持“无模式”的数据建模,可以存储比较复杂的数据类型,是一款非常...

JavaGuide8阅读 1.7k

封面图
数据结构与算法:二分查找
一、常见数据结构简单数据结构(必须理解和掌握)有序数据结构:栈、队列、链表。有序数据结构省空间(储存空间小)无序数据结构:集合、字典、散列表,无序数据结构省时间(读取时间快)复杂数据结构树、 堆图二...

白鲸鱼9阅读 5.3k

mojotv.cn

447 声望
33 粉丝
宣传栏