Azure NSG 流日志分析与 ELK 堆栈

主要观点:

  • 今年 3 月引入的 Network Watcher 是 Azure 云服务中的新功能,可监控网络流量并提供分析和可视化工具。
  • 其中的 Network Security Group Flow logs 可捕获网络安全组的流量信息,可将日志发送到 Azure 存储账户进行进一步分析。
  • 介绍了在 Azure 中启用 Network Watcher 和 NSG Flow Logs 的步骤,包括安装 Logstash 插件、配置 Logstash 以及将日志发送到 ELK Stack 或 Logz.io 等。
  • 可在 Kibana 中分析数据,通过添加字段、使用过滤选项和创建可视化图表来了解网络流量情况,还可设置警报以监控异常流量。

关键信息:

  • 引入时间:今年 3 月。
  • 功能:监控网络流量、提供分析可视化工具、捕获 NSG 流量信息。
  • 启用步骤:打开 Azure 门户,搜索并选择 Network Watcher 服务,为订阅启用,在 Network Watcher 窗格的 Logs 部分选择 NSG flow logs,设置状态为 On 并选择存储账户,保存。
  • 安装插件命令:sudo /usr/share/logstash/bin/logstash-plugin install logstash-input-azureblob
  • Logstash 配置:输入部分设置存储账户名、访问密钥、容器等,过滤器部分进行字段分割和转换,输出部分设置 Elasticsearch 或 Logz.io 地址等。
  • 发送到 Logz.io 的调整:添加 Logz.io 令牌,替换输出为 Logz.io 监听器定义,重启 Logstash。
  • 分析数据:在 Kibana 中添加字段、使用过滤选项、创建可视化图表,如线图和柱状图。

重要细节:

  • 存储账户默认有 2 个密钥,可在存储窗格的 Access keys 部分获取。
  • 配置 Logstash 管道时可验证配置文件,不同版本命令不同。
  • Logz.io 需设置出站安全规则允许 TCP 流量到 5050 端口,可通过 SSL 发送数据。
  • 可根据 Azure 文档了解字段含义,Kibana 中查询需实验,可设置警报以监控异常流量,若使用开源 ELK 需配置或付费添加警报功能。
阅读 31
0 条评论