阿里云 SAE 应用引擎可观测性最佳实践

SAE 简介

Serverless 应用引擎 SAE（Serverless App Engine）是一款零代码改造、极简易用、自适应弹性的应用全托管平台。SAE 能够让用户免运维 IaaS 和 Kubernetes，秒级完成从源代码、代码包、Docker 镜像部署任意语言的在线应用（例如 Web、微服务、Job 任务）到 SAE，并自动伸缩实例按使用量计费，开箱即用日志、监控、负载均衡等配套能力。

SAE 基于容器标准构建，核心能力开源，无厂商锁定，拥有丰富的平台工程能力，例如 CLI、S2A（Source to Application）等，助力研发运维提效。

可观测性

观测云可以收集来自 SAE 上部署应用的可观测性数据。具体流程如下：

应用通过接入 APM 上报 trace 数据到 DataKit
应用的日志数据可以通过 KafkaMQ 收集后，通过 DataKit 进行消费
应用容器的指标数据利用阿里云的监控 API 并通过 Function 平台（DataFlux.f(x)）进行采集后上报到观测云
DataKit 收集到对应的数据后统一处理并上报到观测云上

NAT 网关配置

DataKit 获取到数据后需要上报到观测云，就需要 SAE 出外网的能力，SAE 应用出外网主要是需要配置 NAT 网关。

参考文档步骤：SAE应用如何从VPC内网环境访问公网

创建 Kafka 服务

请访问阿里云消息队列 Kafka 版控制台，根据需求创建实例，在实例部署前，请了解文档《设置日志收集至 Kafka》中“前提条件”章节中关于 VPC 和 vSwitch 的限制。部署成功后在“Topic 管理”页面创建 Topic：springboot-server_log ，建议与 SAE 应用同名，Group 无需创建。

DataKit

注册观测云账号：https://auth.guance.com/businessRegister

登陆后，在集成里面找到 DataKit，并复制 DK_DATAWAY，后面需要用到。

创建 DataKit

进入 SAE，点击应用列表 - 创建应用。
填写应用信息
- 应用名称
- 选择命名空间，如果没有，则创建一个
- 选择vpc，如果没有，则创建一个
- 选择安全组： vswitch 要与 NAT 的交换机匹配
- 实例数按需调整
- CPU 1 core、内存1G
- 完成后点击下一步
添加镜像：pubrepo.guance.com/datakit/datakit:1.31.0
添加环境变量

建议采用配置项方式，方便管理维护配置，具体参考下面的配置项内容。

添加配置

创建 kafkamq 采集器配置

保存

创建成功后，可以进入应用详情，查看基础信息。

创建配置项

在 SAE 的命名空间里面配置。

配置项内容如下：

{
  "ENV_DATAWAY": "https://openway.guance.com?token=tkn_xxx",
  "KAFKAMQ": "# {\"version\": \"1.22.7-1510\", \"desc\": \"do NOT edit this line\"}\n\n[[inputs.kafkamq]]\n  # addrs = [\"alikafka-serverless-cn-8ex3y7ciq02-1000.alikafka.aliyuncs.com:9093\",\"alikafka-serverless-cn-8ex3y7ciq02-2000.alikafka.aliyuncs.com:9093\",\"alikafka-serverless-cn-8ex3y7ciq02-3000.alikafka.aliyuncs.com:9093\"]\n  addrs = [\"alikafka-serverless-cn-8ex3y7ciq02-1000-vpc.alikafka.aliyuncs.com:9092\",\"alikafka-serverless-cn-8ex3y7ciq02-2000-vpc.alikafka.aliyuncs.com:9092\",\"alikafka-serverless-cn-8ex3y7ciq02-3000-vpc.alikafka.aliyuncs.com:9092\"]\n  # your kafka version:0.8.2 ~ 3.2.0\n  kafka_version = \"3.3.1\"\n  group_id = \"datakit-group\"\n  # consumer group partition assignment strategy (range, roundrobin, sticky)\n  assignor = \"roundrobin\"\n\n  ## kafka tls config\n   tls_enable = false\n\n  ## -1:Offset Newest, -2:Offset Oldest\n  offsets=-1\n\n\n  ## user custom message with PL script.\n  [inputs.kafkamq.custom]\n    #spilt_json_body = true\n    ## spilt_topic_map determines whether to enable log splitting for specific topic based on the values in the spilt_topic_map[topic].\n    #[inputs.kafkamq.custom.spilt_topic_map]\n     # \"log_topic\"=true\n     # \"log01\"=false\n    [inputs.kafkamq.custom.log_topic_map]\n      \"springboot-server_log\"=\"springboot_log.p\"\n    #[inputs.kafkamq.custom.metric_topic_map]\n    #  \"metric_topic\"=\"metric.p\"\n    #  \"metric01\"=\"rum_apm.p\"\n    #[inputs.kafkamq.custom.rum_topic_map]\n    #  \"rum_topic\"=\"rum_01.p\"\n    #  \"rum_02\"=\"rum_02.p\"\n",
  "SPRINGBOOT_LOG_P": "abc = load_json(_)\n\nadd_key(file, abc[\"file\"])\n\nadd_key(message, abc[\"message\"])\nadd_key(host, abc[\"host\"])\nmsg = abc[\"message\"]\ngrok(msg, \"%{TIMESTAMP_ISO8601:time} %{NOTSPACE:thread_name} %{LOGLEVEL:status}%{SPACE}%{NOTSPACE:class_name} - \\\\[%{NOTSPACE:method_name},%{NUMBER:line}\\\\] %{DATA:service_name} %{DATA:trace_id} %{DATA:span_id} - %{GREEDYDATA:msg}\")\n\nadd_key(topic, abc[\"topic\"])\n\ndefault_time(time,\"Asia/Shanghai\")",
  "ENV_GLOBAL_HOST_TAGS": "host=__datakit_hostname,host_ip=__datakit_ip",
  "ENV_HTTP_LISTEN": "0.0.0.0:9529",
  "ENV_DEFAULT_ENABLED_INPUTS": "dk,cpu,disk,diskio,mem,swap,system,hostobject,net,host_processes,container,ddtrace,statsd,profile"
}

配置项说明：

ENV_DATAWAY：上报观测云的网关地址
KAFKAMQ： kafkamq 采集器配置，具体内容参考：Kafka 采集器配置文件介绍
SPRINGBOOT_LOG_P：日志 pipeline 脚本，用于切割来自 kafka 的日志数据
ENV_GLOBAL_HOST_TAGS：采集器全局 tag
ENV_HTTP_LISTEN：Datakit 端口，ip必须是 0.0.0.0 否则其他 pod 会访问不到
ENV_DEFAULT_ENABLED_INPUTS：默认开启的采集器

Kafka 采集器配置文件介绍

# {"version": "1.22.7-1510", "desc": "do NOT edit this line"}

[[inputs.kafkamq]]
  # addrs = ["alikafka-serverless-cn-8ex3y7ciq02-1000.alikafka.aliyuncs.com:9093","alikafka-serverless-cn-8ex3y7ciq02-2000.alikafka.aliyuncs.com:9093","alikafka-serverless-cn-8ex3y7ciq02-3000.alikafka.aliyuncs.com:9093"]
  addrs = ["alikafka-serverless-cn-8ex3y7ciq02-1000-vpc.alikafka.aliyuncs.com:9092","alikafka-serverless-cn-8ex3y7ciq02-2000-vpc.alikafka.aliyuncs.com:9092","alikafka-serverless-cn-8ex3y7ciq02-3000-vpc.alikafka.aliyuncs.com:9092"]
  # your kafka version:0.8.2 ~ 3.2.0
  kafka_version = "3.3.1"
  group_id = "datakit-group"
  # consumer group partition assignment strategy (range, roundrobin, sticky)
  assignor = "roundrobin"

  ## kafka tls config
   tls_enable = false

  ## -1:Offset Newest, -2:Offset Oldest
  offsets=-1


  ## user custom message with PL script.
  [inputs.kafkamq.custom]
    #spilt_json_body = true
    ## spilt_topic_map determines whether to enable log splitting for specific topic based on the values in the spilt_topic_map[topic].
    #[inputs.kafkamq.custom.spilt_topic_map]
     # "log_topic"=true
     # "log01"=false
    [inputs.kafkamq.custom.log_topic_map]
      "springboot-server_log"="springboot_log.p"
    #[inputs.kafkamq.custom.metric_topic_map]
    #  "metric_topic"="metric.p"
    #  "metric01"="rum_apm.p"
    #[inputs.kafkamq.custom.rum_topic_map]
    #  "rum_topic"="rum_01.p"
    #  "rum_02"="rum_02.p"

addrs ：kafka 队列消费地址
group_id ：消费组，DataKit 会调用 kafka 自动创建
[inputs.kafkamq.custom.log_topic_map] ：是 kafkamq 日志类型数据消费 Topic 配置集合，可以配置多组，key-value 形式。key 为 Topic ，value 可以为空，为空用""表示，如果需要做日志切割，则需要填写对应的 pipeline 名称。

网络配置

按需开启网络，公网或者私网，一般建议私网即可。

主要开放两个端口 9529 和 8125 ，有其他端口需求的可以按需添加。开启后会生成 ip 和端口，后面会用到。

应用

示例为 Java 应用，采用 ddtrace 作为 APM 进行接入。Demo 源码地址：https://github.com/lrwh/observable-demo/tree/main/springboot-server。

可以自己构建镜像，也可以使用阿里镜像 registry.cn-shenzhen.aliyuncs.com/lr_715377484/springboot-server:ddtrace_1_34

下载 ddtrace

wget https://static.guance.com/dd-image/dd-java-agent.jar

docker 镜像

FROM openjdk:8-jdk-alpine

# 其效果是在主机 /var/lib/docker 目录下创建了一个临时文件，并链接到容器的/tmp
VOLUME /tmp

WORKDIR /data
RUN mkdir logs
# 这个目录自行修改
ADD springboot-server.jar app.jar
ADD dd-java-agent-v1.34.0-guance.jar /dd-java-agent.jar
# 修改时区
ENV TZ=Asia/Shanghai
RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone
# 解决中文乱码
ENV LANG en_US.UTF-8
ENV jar app.jar

ENTRYPOINT ["sh", "-ec", "exec java ${JAVA_OPTS} -jar ${jar} ${PARAMS} 2>&1"]

构建：

docker build -f Dockerfile_ddtrace -t registry.cn-shenzhen.aliyuncs.com/lr_715377484/springboot-server:ddtrace_1_34 .

推送到仓库：

docker push registry.cn-shenzhen.aliyuncs.com/lr_715377484/springboot-server:ddtrace_1_34

创建应用

基本步骤与创建 DataKit 一样。

调整镜像名称
镜像地址：registry.cn-shenzhen.aliyuncs.com/lr_715377484/springboot-server:ddtrace_1_34
Java 环境选择 openjdk8
启动命令设置：选择 Shell 脚本方式

java \
-javaagent:/dd-java-agent.jar \
-Ddd.service.name=ddtrace-server \
-Ddd.agent.host=10.0.16.221 \
-Ddd.agent.port=9529 \
-Ddd.trace.debug=true \
-Ddatadog.slf4j.simpleLogger.logFile=ddtrace.log \
-jar /data/app.jar

其中 -Ddd.agent.host 为 DataKit 的访问地址。

日志采集服务

将日志上报到 kafka，选择对应的 kafka 实例，没有就创建一个，并填写对应的日志文件路径及上报 kafka 的 topic。

保存

应用启动完成后，可以在应用实例部署信息查看部署和启动日志。

从日志里面已经可以看到 ddtrace 加载成功。

开启网络

应用启动完成后，按需开启网络，公网或者私网，由于这里需要对外访问，所以需要开放公网。当前应用端口为8090。开放成功后可以直接通过ip地址可以访问。

curl http://host:8090/gateway

效果展示

日志

在日志列表上，可以通过 source:springboot-server_log⁠ 来过滤当前业务日志，点击对应的日志详情，可以关联当前日志对应的链路信息。

链路

在链路详情里面，可以关联到当前链路对应业务所产生的日志信息。

指标

指标采集

由于阿里云不提供直接从 prometheus 获取指标数据，所以需要通过观测云 Function 平台（DataFlux.f(x)）调用 SAE 的 API 采集指标数据。

具体步骤参考：阿里云 SAE 集成文档

指标列表

指标	单位	Dimensions	描述
`cpu_Average`	%	userId、appId	应用CPU
`diskIopsRead_Average`	Count/Second	userId、appId	应用磁盘IOPS读
`diskIopsWrite_Average`	Count/Second	userId、appId	应用磁盘IOPS写
`diskRead_Average`	Byte/Second	userId、appId	应用磁盘IO吞吐率读
`diskTotal_Average`	Kilobyte	userId、appId	应用磁盘总量
`diskUsed_Average`	Kilobyte	userId、appId	应用磁盘使用量
`diskWrite_Average`	Byte/Second	userId、appId	应用磁盘IO吞吐率写
`instanceId_memoryUsed_Average`	MB	userId、appId、instanceId	实例已使用内存
`instance_cpu_Average`	%	userId、appId、instanceId	实例CPU
`instance_diskIopsRead_Average`	Count/Second	userId、appId、instanceId	实例磁盘IOPS读
`instance_diskIopsWrite_Average`	Count/Second	userId、appId、instanceId	实例磁盘IOPS写
`instance_diskRead_Average`	Byte/Second	userId、appId、instanceId	实例磁盘IO吞吐率读
`instance_diskTotal_Average`	Kilobyte	userId、appId、instanceId	实例磁盘总量
`instance_diskUsed_Average`	Kilobyte	userId、appId、instanceId	实例磁盘使用量
`instance_diskWrite_Average`	Byte/Second	userId、appId、instanceId	实例磁盘IO吞吐率写
`instance_load_Average`	min	userId、appId、instanceId	实例平均负载
`instance_memoryTotal_Average`	MB	userId、appId、instanceId	实例总内存
`instance_memoryUsed_Average`	MB	userId、appId、instanceId	实例已使用内存
`instance_netRecv_Average`	Byte/Second	userId、appId、instanceId	实例接收字节
`instance_netRecvBytes_Average`	Byte	userId、appId、instanceId	实例总接收字节
`instance_netRecvDrop_Average`	Count/Second	userId、appId、instanceId	实例接收数据丢包
`instance_netRecvError_Average`	Count/Second	userId、appId、instanceId	实例接收错误数据包
`instance_netRecvPacket_Average`	Count/Second	userId、appId、instanceId	实例接收数据包
`instance_netTran_Average`	Byte/Second	userId、appId、instanceId	实例发送字节
`instance_netTranBytes_Average`	Byte	userId、appId、instanceId	实例总发送字节
`instance_netTranDrop_Average`	Count/Second	userId、appId、instanceId	实例发送数据丢包
`instance_netTranError_Average`	Count/Second	userId、appId、instanceId	实例发送错误数据包
`instance_netTranPacket_Average`	Count/Second	userId、appId、instanceId	实例发送数据包
`instance_tcpActiveConn_Average`	Count	userId、appId、instanceId	实例活跃TCP连接数
`instance_tcpInactiveConn_Average`	Count	userId、appId、instanceId	实例非活跃TCP连接数
`instance_tcpTotalConn_Average`	Count	userId、appId、instanceId	实例总TCP连接数
`load_Average`	min	userId、appId	应用平均负载
`memoryTotal_Average`	MB	userId、appId	应用总内存
`memoryUsed_Average`	MB	userId、appId	应用已使用内存
`netRecv_Average`	Byte/Second	userId、appId	应用接收字节
`netRecvBytes_Average`	Byte	userId、appId	应用总接收字节
`netRecvDrop_Average`	Count/Second	userId、appId	应用接收数据丢包
`netRecvError_Average`	Count/Second	userId、appId	应用接收错误数据包
`netRecvPacket_Average`	Count/Second	userId、appId	应用接收数据包
`netTran_Average`	Byte/Second	userId、appId	应用发送字节
`netTranBytes_Average`	Byte	userId、appId	应用总发送字节
`netTranDrop_Average`	Count/Second	userId、appId	应用发送数据丢包
`netTranError_Average`	Count/Second	userId、appId	应用发送错误数据包
`netTranPacket_Average`	Count/Second	userId、appId	应用发送数据包
`tcpActiveConn_Average`	Count	userId、appId	应用活跃TCP连接数
`tcpInactiveConn_Average`	Count	userId、appId	应用非活跃TCP连接数
`tcpTotalConn_Average`	Count	userId、appId	应用总TCP连接数

仪表板

应用

实例

监控器

内置了一部分 SAE 监控器，方便对 SAE 应用进行监控。

模板内容可以调整。

阿里云 SAE 应用引擎可观测性最佳实践

SAE 简介

可观测性

NAT 网关配置

创建 Kafka 服务

DataKit

创建 DataKit

创建配置项

网络配置

应用

下载 ddtrace

docker 镜像

创建应用

开启网络

效果展示

日志

链路

指标

指标采集

指标列表

仪表板

监控器

观测云

引用和评论

Kube-state-metrics 可观测性最佳实践

云栖实录 | 开源大数据全面升级：Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展

x86平台运行arm64平台docker镜像

Ubuntu下Nginx配置ModSecurity详细思路及过程

通过curl命令分析http接口请求各阶段的耗时等

linux的定时任务调度crontab

Docker Ubuntu php nginx mysql redis开发环境部署教程