史上最全SpringCloud整合skywalking

1. 概述

1.1 概念

SkyWalking 是什么？
FROM http://skywalking.apache.org/
分布式系统的应用程序性能监视工具，专为微服务、云原生架构和基于容器（Docker、K8s、Mesos）架构而设计。
提供分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案。

1.2 功能列表

SkyWalking 有哪些功能？
FROM http://skywalking.apache.org/

多种监控手段。可以通过语言探针和 service mesh 获得监控是数据。
多个语言自动探针。包括 Java，.NET Core 和 Node.JS。
轻量高效。无需大数据平台，和大量的服务器资源。
模块化。UI、存储、集群管理都有多种机制可选。
支持告警。
优秀的可视化解决方案。
1.3 整体架构
SkyWalking 整体架构如何？
FROM http://skywalking.apache.org/

整个架构，分成上、下、左、右四部分：
考虑到让描述更简单，我们舍弃掉 Metric 指标相关，而着重在 Tracing 链路相关功能。
上部分 Agent ：负责从应用中，收集链路信息，发送给 SkyWalking OAP 服务器。目前支持 SkyWalking、Zikpin、Jaeger 等提供的 Tracing 数据信息。而我们目前采用的是，SkyWalking Agent 收集 SkyWalking Tracing 数据，传递给服务器。
下部分 SkyWalking OAP ：负责接收 Agent 发送的 Tracing 数据信息，然后进行分析(Analysis Core) ，存储到外部存储器( Storage )，最终提供查询( Query )功能。
右部分 Storage ：Tracing 数据存储。目前支持 ES、MySQL、Sharding Sphere、TiDB、H2 多种存储器。而我们目前采用的是 ES ，主要考虑是 SkyWalking 开发团队自己的生产环境采用 ES 为主。
左部分 SkyWalking UI ：负责提供控台，查看链路等等。
1.4 官方文档
在 https://github.com/apache/skywalking/tree/master/docs 地址下，提供了 SkyWalking 的英文文档。
考虑到大多数胖友的英语水平和艿艿不相伯仲，再加上胖友一开始对 SkyWalking 比较陌生，所以比较推荐先阅读 https://github.com/SkyAPM/document-cn-translation-of-skywalking 地址，提供了 SkyWalking 的中文文档。
考虑到胖友使用 SkyWalking 的目的，是实现分布式链路追踪的功能，所以最好去了解下相关的知识。这里推荐阅读两篇文章：
《OpenTracing 官方标准 —— 中文版》
Google 论文《Dapper，大规模分布式系统的跟踪系统》

2.搭建

2.1 Elasticsearch 搭建

#直接拉取镜像
sudo docker pull elasticsearch:7.4.2

#创建所需目录：
mkdir -p /mydata/elasticsearch/config/ 
mkdir -p /mydata/elasticsearch/data/ 
echo "http.host: 0.0.0.0">>/mydata/elasticsearch/config/elasticsearch.yml

#创建实例并启动:
sudo docker run --name elasticsearch -p 9200:9200 -p 9300:9300 \
-e ES_JAVA_OPS="-Xms512m -Xmx512m" \
-v /mydata/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /mydata/elasticsearch/data:/usr/share/elasticsearch/data \
-v /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
-d elasticsearch:7.4.2

参数说明：

注意要有访问权限:
chmod -R 777 /mydata/elasticsearch
参数说明:
-p 9200:9200 将容器的9200端口映射到主机的9200端口;
--name elasticsearch 给当前启动的容器取名叫 elasticsearch
-v /mydata/elasticsearch/data:/usr/share/elasticsearch/data 将数据文件夹挂载到主机;
-v /mydata/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml 将配置文件挂载到主机;
-d 以后台方式运行(daemon)
-e ES_JAVA_OPS="-Xms256m -Xmx256m" 测试时限定内存小一点

访问elasticsearch：http://IP:9200/

2.2 下载 SkyWalking 软件包

对于 SkyWalking 的软件包，有两种方式获取：

手动编译
官方包

一般情况下，我们建议使用官方包。手动编译，更多是尝鲜或者等着急修复的 BUG 的版本。

2.2.1 官方包

在 http://skywalking.apache.org/downloads/ 下，我们下载操作系统对应的发布版。
这里，我们选择 Binary Distribution for ElasticSearch 7 (Linux) 版本，因为艿艿是 Mac 环境，再加上想使用 Elasticsearch 7.X 版本作为存储。如果胖友想用 Elasticsearch 6.X 版本作为存储，记得下载 Binary Distribution (Linux) 版本。
① 下载：

# 创建目录
$ mkdir -p /Users/yunai/skywalking
$ cd /Users/yunai/skywalking

# 下载
$ wget http://mirror.bit.edu.cn/apache/skywalking/6.6.0/apache-skywalking-apm-es7-6.6.0.tar.gz

② 解压：

# 解压
$ tar -zxvf apache-skywalking-apm-es7-6.6.0.tar.gz
$ cd  apache-skywalking-apm-bin-es7

$ ls -ls
 4 drwxr-xr-x 8 root root  4096 Sep  9 15:09 agent # SkyWalking Agent
 4 drwxr-xr-x 2 root root  4096 Sep  9 15:44 bin # 执行脚本
 4 drwxr-xr-x 2 root root  4096 Sep  9 15:44 config # SkyWalking OAP Server 配置文件
32 -rwxr-xr-x 1 root root 28903 Sep  9 14:32 LICENSE
 4 drwxr-xr-x 3 root root  4096 Sep  9 15:44 licenses
32 -rwxr-xr-x 1 root root 31850 Sep  9 14:32 NOTICE
16 drwxr-xr-x 2 root root 16384 Sep  9 15:22 oap-libs # SkyWalking OAP Server
 4 -rw-r--r-- 1 root root  1978 Sep  9 14:32 README.txt
 4 drwxr-xr-x 2 root root  4096 Sep  9 15:44 webapp # SkyWalking UI

2.2 SkyWalking OAP 配置修改

修改 skywalking/config/application.yml
企业微信截图_16227018697616.png
企业微信截图_16227020127760.png
企业微信截图_16227020805094.png
其中 nameSpace是请求安装的es http://IP:9200/ 返回的cluster_name对应值。

2.3启动

skywalking/bin/ 目录下 sh startup.sh 即可启动

2.4访问

http://IP:8080/ 企业微信截图_16227023282449.png

3.SpringCloud 服务接入SkyWalking

3.1 SkyWalking Agent

大多数情况下，我们在启动项目的 Shell 脚本上，通过 -javaagent 参数进行配置 SkyWalking Agent 。
考虑到偶尔我们需要在 IDE 中，也希望使用 SkyWalking Agent ，所以我们在下面IDE小节来看。

3.1.1 Shell

① Agent 软件包
我们需要将 apache-skywalking-apm-bin/agent 目录，拷贝到 Java 应用所在的服务器上。这样，Java 应用才可以配置使用该 SkyWalking Agent。我们来看看 Agent 目录下有哪些：

$ ls -ls

total 35176
    0 drwxr-xr-x@  7 yunai  staff       224 Dec 24 14:20 activations
    0 drwxr-xr-x@  4 yunai  staff       128 Dec 24 14:21 bootstrap-plugins
    0 drwxr-xr-x@  3 yunai  staff        96 Dec 24 14:12 config # SkyWalking Agent 配置
    0 drwxr-xr-x@  3 yunai  staff        96 Jan  2 19:29 logs # SkyWalking Agent 日志
    0 drwxr-xr-x@ 13 yunai  staff       416 Dec 24 14:22 optional-plugins # 可选插件
    0 drwxr-xr-x@ 68 yunai  staff      2176 Dec 24 14:20 plugins # 插件
35176 -rw-r--r--@  1 yunai  staff  18006420 Dec 24 14:12 skywalking-agent.jar # SkyWalking Agent

关于 SkyWalking Agent 提供的插件列表，可以看看《SkyWalking 文档 —— 插件支持列表》。

因为艿艿是在本机测试，所以无需拷贝，SkyWalking Agent 目录是 /Users/yunai/skywalking/apache-skywalking-apm-bin-es7/agent/。

② 配置 Java 启动脚本

# SkyWalking Agent 配置
export SW_AGENT_NAME=demo-application # 配置 Agent 名字。一般来说，我们直接使用 Spring Boot 项目的 `spring.application.name` 。
export SW_AGENT_COLLECTOR_BACKEND_SERVICES=127.0.0.1:11800 # 配置 Collector 地址。
export SW_AGENT_SPAN_LIMIT=2000 # 配置链路的最大 Span 数量。一般情况下，不需要配置，默认为 300 。主要考虑，有些新上 SkyWalking Agent 的项目，代码可能比较糟糕。
export JAVA_AGENT=-javaagent:/Users/yunai/skywalking/apache-skywalking-apm-bin-es7/agent/skywalking-agent.jar # SkyWalking Agent jar 地址。

# Jar 启动
java -jar $JAVA_AGENT -jar lab-39-demo-2.2.2.RELEASE.jar

#复杂脚本可参考：
nohup java -javaagent:/data/application/skywalking/agent/skywalking-agent.jar -Xmx512m -Xms512m -jar ${APP_NAME} --spring.profiles.active=dev --spring.cloud.nacos.discovery.server-addr=192.168.0.79:8848 --spring.cloud.nacos.discovery.password=nacos --spring.cloud.nacos.discovery.username=nacos --spring.cloud.nacos.config.server-addr=192.168.0.79:8848 >/dev/null 2>&1 &

通过环境变量，进行配置。
更多的变量，可以在 /agent/config/agent.config 查看。要注意，可能有些变量是被注释掉的，例如说 SW_AGENT_SPAN_LIMIT 对应的 agent.span_limit_per_segment 。

③ 执行脚本

3.1.2 IDEA

我们统一使用 IDEA 作为开发 IDE ，所以忽略 Eclipse 的配置方式。
具体参考下图，比较简单：

3.2 微服务接入日志

3.2.1 日志打印接入

加入依赖

   <dependency>
        <groupId>org.apache.skywalking</groupId>
        <artifactId>apm-toolkit-logback-1.x</artifactId>
        <version>8.5.0</version>
    </dependency>

logback日志使用grpc收集，logback.xml 片段为：

<!-- skywalking 通过grpc采集日志 -->
<appender name="grpc_log_info" class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.log.GRPCLogClientAppender">
    <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
        <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.mdc.TraceIdMDCPatternLogbackLayout">
            <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%X{tid}] [%thread] %-5level %logger{36} -%msg%n</Pattern>
        </layout>
    </encoder>
    <filter class="ch.qos.logback.classic.filter.LevelFilter">
        <!-- 过滤的级别 -->
        <level>INFO</level>
        <!-- 匹配时的操作：接收（记录） -->
        <onMatch>ACCEPT</onMatch>
        <!-- 不匹配时的操作：拒绝（不记录） -->
        <onMismatch>DENY</onMismatch>
    </filter>
</appender>


<appender name="grpc_log_error" class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.log.GRPCLogClientAppender">
    <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
        <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.mdc.TraceIdMDCPatternLogbackLayout">
            <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%X{tid}] [%thread] %-5level %logger{36} -%msg%n</Pattern>
        </layout>
    </encoder>
    <filter class="ch.qos.logback.classic.filter.LevelFilter">
        <!-- 过滤的级别 -->
        <level>ERROR</level>
        <!-- 匹配时的操作：接收（记录） -->
        <onMatch>ACCEPT</onMatch>
        <!-- 不匹配时的操作：拒绝（不记录） -->
        <onMismatch>DENY</onMismatch>
    </filter>
</appender>

3.logback.xml完整内容为：

<?xml version="1.0" encoding="UTF-8"?>
<configuration scan="true" scanPeriod="60 seconds" debug="false">
<!-- 日志存放路径 -->
<property name="log.path" value="/data/logs/iot-platform-gateway"/>
<!-- 日志输出格式 -->
<property name="log.pattern" value="%d{HH:mm:ss.SSS} [%thread] %-5level %logger{20} - [%method,%line] - %msg%n"/>
<property name="log.pattern.traceId" value="%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - [%tid] - %msg%n"/>

<!-- 控制台输出 -->
<!--    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">-->
<!--        <encoder>-->
<!--            <pattern>${log.pattern}</pattern>-->
<!--        </encoder>-->
<!--    </appender>-->

<appender name="console" class="ch.qos.logback.core.ConsoleAppender">
    <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
        <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout">
            <pattern>${log.pattern.traceId}</pattern>
        </layout>
    </encoder>
</appender>

<!-- skywalking 通过grpc采集日志 -->
<appender name="grpc_log_info" class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.log.GRPCLogClientAppender">
    <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
        <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.mdc.TraceIdMDCPatternLogbackLayout">
            <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%X{tid}] [%thread] %-5level %logger{36} -%msg%n</Pattern>
        </layout>
    </encoder>
    <filter class="ch.qos.logback.classic.filter.LevelFilter">
        <!-- 过滤的级别 -->
        <level>INFO</level>
        <!-- 匹配时的操作：接收（记录） -->
        <onMatch>ACCEPT</onMatch>
        <!-- 不匹配时的操作：拒绝（不记录） -->
        <onMismatch>DENY</onMismatch>
    </filter>
</appender>


<appender name="grpc_log_error" class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.log.GRPCLogClientAppender">
    <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
        <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.mdc.TraceIdMDCPatternLogbackLayout">
            <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%X{tid}] [%thread] %-5level %logger{36} -%msg%n</Pattern>
        </layout>
    </encoder>
    <filter class="ch.qos.logback.classic.filter.LevelFilter">
        <!-- 过滤的级别 -->
        <level>ERROR</level>
        <!-- 匹配时的操作：接收（记录） -->
        <onMatch>ACCEPT</onMatch>
        <!-- 不匹配时的操作：拒绝（不记录） -->
        <onMismatch>DENY</onMismatch>
    </filter>
</appender>

<!-- 系统日志输出 -->
<appender name="file_info" class="ch.qos.logback.core.rolling.RollingFileAppender">
    <file>${log.path}/info.log</file>
    <!-- 循环政策：基于时间创建日志文件 -->
    <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
        <!-- 日志文件名格式 -->
        <fileNamePattern>${log.path}/info.%d{yyyy-MM-dd}.log</fileNamePattern>
        <!-- 日志最大的历史 60天 -->
        <maxHistory>60</maxHistory>
    </rollingPolicy>
    <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
        <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout">
            <pattern>${log.pattern.traceId}</pattern>
        </layout>
    </encoder>
    <filter class="ch.qos.logback.classic.filter.LevelFilter">
        <!-- 过滤的级别 -->
        <level>INFO</level>
        <!-- 匹配时的操作：接收（记录） -->
        <onMatch>ACCEPT</onMatch>
        <!-- 不匹配时的操作：拒绝（不记录） -->
        <onMismatch>DENY</onMismatch>
    </filter>
</appender>

<appender name="file_error" class="ch.qos.logback.core.rolling.RollingFileAppender">
    <file>${log.path}/error.log</file>
    <!-- 循环政策：基于时间创建日志文件 -->
    <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
        <!-- 日志文件名格式 -->
        <fileNamePattern>${log.path}/error.%d{yyyy-MM-dd}.log</fileNamePattern>
        <!-- 日志最大的历史 60天 -->
        <maxHistory>60</maxHistory>
    </rollingPolicy>
    <!--        <encoder>-->
    <!--            <pattern>${log.pattern}</pattern>-->
    <!--        </encoder>-->
    <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
        <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout">
            <pattern>${log.pattern.traceId}</pattern>
        </layout>
    </encoder>
    <filter class="ch.qos.logback.classic.filter.LevelFilter">
        <!-- 过滤的级别 -->
        <level>ERROR</level>
        <!-- 匹配时的操作：接收（记录） -->
        <onMatch>ACCEPT</onMatch>
        <!-- 不匹配时的操作：拒绝（不记录） -->
        <onMismatch>DENY</onMismatch>
    </filter>
</appender>
<!--只打印 dozer包下的error级别的日志 -->
<logger name="org.dozer" level="error" additivity="false"/>

<!--屏蔽 nacos包下的warn级别以上的日志 -->
<logger name="com.alibaba.nacos.client.naming" level="warn" additivity="false"/>
<!-- Spring日志级别控制  -->
<logger name="org.springframework" level="warn"/>

<root level="info">
    <appender-ref ref="console"/>
</root>

<!--系统操作日志-->
<root level="info">
    <appender-ref ref="file_info"/>
    <appender-ref ref="file_error"/>
    <appender-ref ref="grpc_log_info"/>
    <appender-ref ref="grpc_log_error"/>
</root>
</configuration>

4.修改agent配置文件：
skywalking/agent/config/agent.config

# Backend service addresses.
collector.backend_service=${SW_AGENT_COLLECTOR_BACKEND_SERVICES:192.168.0.77:11800}

plugin.toolkit.log.grpc.reporter.server_host=${SW_GRPC_LOG_SERVER_HOST:192.168.0.77}
plugin.toolkit.log.grpc.reporter.server_port=${SW_GRPC_LOG_SERVER_PORT:11800}
plugin.toolkit.log.grpc.reporter.max_message_size=${SW_GRPC_LOG_MAX_MESSAGE_SIZE:10485760}
plugin.toolkit.log.grpc.reporter.upstream_timeout=${SW_GRPC_LOG_GRPC_UPSTREAM_TIMEOUT:30}

3.2.2.加入对SpringCloud gateway网关的支持

将skywalking/plugins目录下的apm-spring-cloud-gateway-2.1.x-plugin-8.5.0.jar、apm-spring-cloud-gateway-2.0.x-plugin-8.5.0.jar 拷贝到skywalking/optional-plugins目录下即可

3.2.3 忽略跟踪某项节点（url）

1.将skywalking/plugins目录下的apm-trace-ignore-plugin-8.5.0.jar 拷贝到skywalking/optional-plugins目录下
2.在skywalking/agent/config下创建apm-trace-ignore-plugin.config文件，并加入trace.ignore_path=${SW_AGENT_TRACE_IGNORE_PATH:/api-docs/**} 为例，来忽略访问swaggerUI的追踪

参考：https://skywalking.apache.org/zh/2020-04-19-skywalking-quick-start/

史上最全SpringCloud整合skywalking

1. 概述

1.1 概念

1.2 功能列表

1.3 整体架构

1.4 官方文档

2.搭建

2.1 Elasticsearch 搭建

访问elasticsearch：http://IP:9200/

2.2 下载 SkyWalking 软件包

2.2.1 官方包

2.2 SkyWalking OAP 配置修改

2.3启动

2.4访问

3.SpringCloud 服务接入SkyWalking

3.1 SkyWalking Agent

3.1.1 Shell

3.1.2 IDEA

3.2 微服务接入日志

3.2.1 日志打印接入

3.2.2.加入对SpringCloud gateway网关的支持

3.2.3 忽略跟踪某项节点（url）

liumang

引用和评论

若依添加手机验证码登录

全面升级！一套基于最新版Spring Cloud的微服务实战项目！

SpringCloud-WebClient使用Get和Post请求

使用 Nacos 实现动态路由

SkyWalking之P0核心业务场景输出调用链路应用

瞬时流量过大，如何实现服务熔断、降级和限流

Nacos服务注册与发现的原理