Golang-reflect反射的实际中的应用及畅想

1. 🎼 解决了什么

原文https://mojotv.cn/go/golang-reflect-string

我有很多行日志数据单行的格式是这样的

HOST;000012000629948340196501;ipv4;3; ips: user_id=2;user_name=172.21.1.102;policy_id=1;src_mac=52:54:00:62:7f:4a;dst_mac=58:69:6c:7b:fa:e7;src_ip=172.21.1.102;dst_ip=172.22.2.3;src_port=48612;dst_port=80;app_name=网页浏览(HTTP);protocol=TCP;app_protocol=HTTP;event_id=1310909;event_name=Microsoft_IIS_5.1_Frontpage扩展路径信息漏洞;event_type=安全漏洞;level=info;ctime=2019-12-26 11:17:17;action=pass

其中ips:之前的都是不规范的字段

我需要把他解析成结构化的数据,这样的

type IpsItem struct {
    UserId      int    `json:"user_id"`
    UserName    string `json:"user_name"`
    SrcIp       string `json:"src_ip"`
    DstIp       string `json:"dst_ip"`
    SrcPort     int    `json:"src_port"`
    DstPort     int    `json:"dst_port"`
    AppName     string `json:"app_name"`
    Protocol    string `json:"protocol"`
    AppProtocol string `json:"app_protocol"`
    EventId     int    `json:"event_id"`
    EventName   string `json:"event_name"`
    EventType   string `json:"event_type"`
    Level       string `json:"level"`
    Ctime       string `json:"ctime"`
    Action      string `json:"action"`
}

如果上面日志文件是json就非常容易解决了. 因为golang 标准库使用的就是 reflect反射生成struct.

所以我的思路也是使用reflect反射实现字符串转换成结构化的数据,你也可以大致了解标准库json.Unmarshal的原理.

2. 👀 直接上代码

package main

import (
    "fmt"
    "reflect"
    "strings"
)

var testRawString = "HOST;000012000629948340196501;ipv4;3; ips: user_id=2;user_name=172.21.1.102;policy_id=1;src_mac=52:54:00:62:7f:4a;dst_mac=58:69:6c:7b:fa:e7;src_ip=172.21.1.102;dst_ip=172.22.2.3;src_port=48612;dst_port=80;app_name=网页浏览(HTTP);protocol=TCP;app_protocol=HTTP;event_id=1311495;event_name=HTTP_Nikto_WEB漏洞扫描;event_type=安全扫描;level=warning;ctime=2019-12-26 11:17:17;action=pass"

type IpsItem struct {
    UserId      int    `json:"user_id"`
    UserName    string `json:"user_name"`
    SrcIp       string `json:"src_ip"`
    DstIp       string `json:"dst_ip"`
    SrcPort     int    `json:"src_port"`
    DstPort     int    `json:"dst_port"`
    AppName     string `json:"app_name"`
    Protocol    string `json:"protocol"`
    AppProtocol string `json:"app_protocol"`
    EventId     int    `json:"event_id"`
    EventName   string `json:"event_name"`
    EventType   string `json:"event_type"`
    Level       string `json:"level"`
    Ctime       string `json:"ctime"`
    Action      string `json:"action"`
}

func NewIpsItem(raw string) *IpsItem {
    //清除非法的字符
    raw = strings.ReplaceAll(raw, ":", ";")

    ins := IpsItem{}
    t := reflect.TypeOf(ins)
    //遍历结构体属性
    for i := 0; i < t.NumField(); i++ {
        //获取属性structField
        sf := t.Field(i)
        //属性名称
        fieldName := sf.Name
        //tag json的值
        tagName := sf.Tag.Get("json")

        //获取字段值
        fieldValue := reflect.ValueOf(&ins).Elem().FieldByName(fieldName)

        //属性的值 type
        switch sf.Type.Name() {
        case "int":
            var someInt int64
            scanValueFromString(raw, tagName, tagName+"=%d", &someInt)
            //给属性赋值
            fieldValue.SetInt(someInt)
            //todo:: 支持更多类型
        default:
            var someString string
            scanValueFromString(raw, tagName, tagName+"=%s", &someString)
            ////给属性赋值
            fieldValue.SetString(someString)
        }

    }
    return &ins
}

//scanValueFromString 字符串 字段的值
func scanValueFromString(raw string, tagJsonValue, format string, someV interface{}) {
    for _, ss := range strings.Split(raw, ";") {
        ele := strings.TrimSpace(ss)
        if strings.HasPrefix(ele, tagJsonValue) {
            fmt.Sscanf(ele, format, someV)
            //n, err := fmt.Sscanf(ele, format, someV)
            //fmt.Println(n, err)
            return
        }
    }
}

func main() {
    ii := NewIpsItem(testRawString)
    fmt.Printf("%+v\n", ii)
}

3. ☘ 抛砖颍玉

  • 使用反射开发gorm.model的自动文档工具
  • 开发自己的json/ini/yml/toml等格式的序列化库
  • 开发自己nginx 日志收集库

golang后端
Go语言后端技术分享,希望 [链接]的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交...

mojotv.cn

447 声望
33 粉丝
0 条评论
推荐阅读
Go语言详解:HTTP断点续传多线程下载原理
原文地址:Go语言详解:HTTP断点续传多线程下载原理

mojotv_cn阅读 2.1k

前端如何入门 Go 语言
类比法是一种学习方法,它是通过将新知识与已知知识进行比较,从而加深对新知识的理解。在学习 Go 语言的过程中,我发现,通过类比已有的前端知识,可以更好地理解 Go 语言的特性。

robin23阅读 3.2k评论 6

封面图
Golang 中 []byte 与 string 转换
string 类型和 []byte 类型是我们编程时最常使用到的数据结构。本文将探讨两者之间的转换方式,通过分析它们之间的内在联系来拨开迷雾。

机器铃砍菜刀24阅读 58k评论 2

年度最佳【golang】map详解
这篇文章主要讲 map 的赋值、删除、查询、扩容的具体执行过程,仍然是从底层的角度展开。结合源码,看完本文一定会彻底明白 map 底层原理。

去去100216阅读 11.5k评论 2

年度最佳【golang】GMP调度详解
Golang最大的特色可以说是协程(goroutine)了, 协程让本来很复杂的异步编程变得简单, 让程序员不再需要面对回调地狱, 虽然现在引入了协程的语言越来越多, 但go中的协程仍然是实现的是最彻底的. 这篇文章将通过分析...

去去100215阅读 11.9k评论 4

万字详解,吃透 MongoDB!
MongoDB 是一个基于 分布式文件存储 的开源 NoSQL 数据库系统,由 C++ 编写的。MongoDB 提供了 面向文档 的存储方式,操作起来比较简单和容易,支持“无模式”的数据建模,可以存储比较复杂的数据类型,是一款非常...

JavaGuide8阅读 1.7k

封面图
数据结构与算法:二分查找
一、常见数据结构简单数据结构(必须理解和掌握)有序数据结构:栈、队列、链表。有序数据结构省空间(储存空间小)无序数据结构:集合、字典、散列表,无序数据结构省时间(读取时间快)复杂数据结构树、 堆图二...

白鲸鱼9阅读 5.3k

mojotv.cn

447 声望
33 粉丝
宣传栏