这篇文章主要是为了庆祝 Node Exporter 终于迎来了 v1.0.0 版本。
Prometheus 是最早由 SoundCloud 开源的监控告警解决方案。并已经成长为继 Kubernetes 之后,第二个从 CNCF 毕业的项目。伴随着云原生理念的普及和 Kubernetes 等技术的发展, Prometheus 在监控领域也有了长足的发展。
其主要组件包括 Prometheus,Alertmanager,Node Exporter,Blackbox Exporter 和 Pushgateway 等。
本文主要是为了庆祝 Node Exporter 终于迎来了 v1.0.0 版本, 所以重点主要放在一直被人诟病的安全性相关上,具体而言就是利用 TLS 和 Basic Auth 提升其安全性。
背景
Node Exporter 是 Prometheus 官方发布的,用于采集节点的系统信息,比如 CPU,内存,磁盘和网络等信息。
通常情况下,如果我们在使用 Prometheus 作为监控方案,那 Node Exporter 基本都会用到的。
在 Promethues 的监控体系中,社区中一直存在的一个观点是,Metrics 不包含过于私密的信息。所以你可以看到,大多数的 /metrics
接口都是直接暴露出来的,没什么特别的安全措施。
但随着 Prometheus 在生产中的大量应用,安全问题变得更加重要。
大家最先想到的解决办法就是,为 Prometheus 与监控目标之间的连接启用 TLS。 但由于各类 exporter 并不原生支持 TLS 连接,所以通常情况下我们会选择配合反向代理来完成。
这种方式能满足需求,但未免复杂了些。近期 Prometheus 对其安全模型做了修改 , 从 Node Exporter 开始到后续其他的组件,都将支持 TLS 和 basic auth, 同时也列出了最新的安全基准(默认情况下都支持 TLS v1.2 及以上)
使用 TLS
这里我们直接实践下看看如何启用 TLS 。
准备证书
(MoeLove) ➜ ~ mkdir -p prometheus-tls
(MoeLove) ➜ ~ cd prometheus-tls
(MoeLove) ➜ prometheus-tls openssl req -new -newkey rsa:2048 -days 365 -nodes -x509 -keyout node_exporter.key -out node_exporter.crt -subj "/C=CN/ST=Beijing/L=Beijing/O=Moelove.info/CN=localhost"
Generating a RSA private key
...........................................+++++
..+++++
writing new private key to 'node_exporter.key'
-----
(MoeLove) ➜ prometheus-tls ls
node_exporter.crt node_exporter.key
通过上面的步骤,我们得到了 node_exporter.crt
和 node_exporter.key
这两个文件。
Node Exporter 使用 TLS
下载 v1.0.0 版本的 Node Exporter, 并对其进行解压等操作
(MoeLove) ➜ /tmp tar -zxvf node_exporter-1.0.0.linux-amd64.tar.gz
node_exporter-1.0.0.linux-amd64/
node_exporter-1.0.0.linux-amd64/node_exporter
node_exporter-1.0.0.linux-amd64/NOTICE
node_exporter-1.0.0.linux-amd64/LICENSE
(MoeLove) ➜ /tmp cd node_exporter-1.0.0.linux-amd64
(MoeLove) ➜ node_exporter-1.0.0.linux-amd64 ls
LICENSE node_exporter NOTICE
复制前面生成的 node_exporter.crt
和 node_exporter.key
这两个文件到当前目录下。
(MoeLove) ➜ node_exporter-1.0.0.linux-amd64 cp ~/prometheus-tls/node_exporter.* .
(MoeLove) ➜ node_exporter-1.0.0.linux-amd64 ls
LICENSE node_exporter node_exporter.crt node_exporter.key NOTICE
编写配置文件,并保存为 config.yaml
(命名随意):
tls_server_config:
cert_file: node_exporter.crt
key_file: node_exporter.key
接下来就使用 --web.config
将配置文件传递给 Node Exporter
(MoeLove) ➜ node_exporter-1.0.0.linux-amd64 ./node_exporter --web.config=config.yaml
level=info ts=2020-05-26T17:50:12.123Z caller=node_exporter.go:177 msg="Starting node_exporter" version="(version=1.0.0, branch=HEAD, revision=b9c96706a7425383902b6143d097cf6d7cfd1960)"
level=info ts=2020-05-26T17:50:12.124Z caller=node_exporter.go:178 msg="Build context" build_context="(go=go1.14.3, user=root@3e55cc20ccc0, date=20200526-06:01:48)"
level=info ts=2020-05-26T17:50:12.130Z caller=node_exporter.go:105 msg="Enabled collectors"
...
level=info ts=2020-05-26T17:50:12.135Z caller=tls_config.go:200 msg="TLS is enabled and it cannot be disabled on the fly." http2=true
当你看到最后这句日志时,就说明你的 Node Exporter 已经启用了 TLS 连接。
当然,我们也可以选择手动验证下:
# 直接 curl 请求
(MoeLove) ➜ prometheus-tls curl localhost:9100/metrics
Client sent an HTTP request to an HTTPS server.
(MoeLove) ➜ prometheus-tls curl https://localhost:9100/metrics
curl: (60) SSL certificate problem: self signed certificate
More details here: https://curl.haxx.se/docs/sslcerts.html
curl failed to verify the legitimacy of the server and therefore could not
establish a secure connection to it. To learn more about this situation and
how to fix it, please visit the web page mentioned above.
可以看到不能直接 curl 进行请求了,我们可以将证书传递给 curl ,用来验证刚才的配置是否正确。
(MoeLove) ➜ prometheus-tls curl -s --cacert node_exporter.crt https://localhost:9100/metrics |grep node_exporter_build_info
# HELP node_exporter_build_info A metric with a constant '1' value labeled by version, revision, branch, and goversion from which node_exporter was built.
# TYPE node_exporter_build_info gauge
node_exporter_build_info{branch="HEAD",goversion="go1.14.3",revision="b9c96706a7425383902b6143d097cf6d7cfd1960",version="1.0.0"} 1
当然,除了通过 --cacert
参数将证书传递给 curl 外,也可以通过 -k
参数来忽略证书检查。
(MoeLove) ➜ prometheus-tls curl -s -k https://localhost:9100/metrics |grep node_exporter_build_info
# HELP node_exporter_build_info A metric with a constant '1' value labeled by version, revision, branch, and goversion from which node_exporter was built.
# TYPE node_exporter_build_info gauge
node_exporter_build_info{branch="HEAD",goversion="go1.14.3",revision="b9c96706a7425383902b6143d097cf6d7cfd1960",version="1.0.0"} 1
配置 Prometheus 使用 TLS
接下来,我们就要配置 Prometheus 通过 HTTPS 从 Node Exporter 获取指标了。安装过程很简单,无论直接下载最新的二进制版本,或是直接使用 Docker 镜像均可。
注意,我这里把上文中签发的证书复制到了当前目录中。
(MoeLove) ➜ prometheus-2.18.1.linux-amd64 cp ~/prometheus-tls/node_exporter.crt .
(MoeLove) ➜ prometheus-2.18.1.linux-amd64 ls
console_libraries consoles LICENSE node_exporter.crt NOTICE prometheus prometheus.yml promtool tsdb
接下来,需要修改下配置文件,让 Prometheus 可以抓取 Node Exporter 暴露的 metrics 。
global:
scrape_interval: 15s
evaluation_interval: 15s
scrape_configs:
- job_name: 'prometheus'
static_configs:
- targets: ['localhost:9090']
- job_name: 'node_exporter'
scheme: https
tls_config:
ca_file: node_exporter.crt
static_configs:
- targets: ['localhost:9100']
这里额外增加了 scheme: https
表示通过 HTTPS 建立连接,tls_config
中指定了所用的证书文件。完整的配置可以参考 官方文档中对 tls_config 的说明 。
最后,启动 Prometheus 并在浏览器中访问 /targets
,如果你在 endpoint 中看到 https://localhost:9100/metrics
了,那么恭喜你,Prometheus 和 Node Exporter 已经通过 TLS 连接了。
添加 Basic Auth
上文中,我已经为你介绍了如何使用让 Prometheus 和 Node Exporter 间使用 TLS 连接了,接下来,我为你介绍如何增加 Basic Auth 。
这里需要注意的是,Basic Auth 和 TLS 并不是强依赖的。你可以在不开启 TLS 的情况下使用 Basic Auth ,但我个人建议,要做就做彻底点,同时启用好了。
为 Node Exporter 配置密码
我们直接可以使用 htpasswd
来生成 bcrypt 密码 hash (这个工具想必大家不会太陌生)。
(MoeLove) ➜ prometheus-tls htpasswd -nBC 12 '' | tr -d ':\n'
New password:
Re-type new password:
$2y$12$WLw2sYa.NYZoBVoCOE84qe3xNm7kbSoKVIBXP.PvqNDna60vnZhEW
这里我只用它来生成了密码 hash , 没有传递用户名。
接下来,修改上文中提到的 Node Exporter 所用的配置文件,如下:
tls_server_config:
cert_file: node_exporter.crt
key_file: node_exporter.key
basic_auth_users:
# 当前设置的用户名为 prometheus , 可以设置多个
prometheus: $2y$12$WLw2sYa.NYZoBVoCOE84qe3xNm7kbSoKVIBXP.PvqNDna60vnZhEW
再次启动 Node Exporter,并使用 curl 请求 metrics 接口,可以看到当前返回 401 。
(MoeLove) ➜ prometheus-tls curl -Ik https://127.0.0.1:9100/metrics
HTTP/1.1 401 Unauthorized
Content-Type: text/plain; charset=utf-8
Www-Authenticate: Basic
X-Content-Type-Options: nosniff
Date: Wed, 27 May 2020 11:45:16 GMT
Content-Length: 13
打开 Prometheus 的 Targets 页面,也会看到当前提示 401 ,无法抓取 metrics 。
配置 Prometheus 使用 Basic Auth
接下来,只要修改 Prometheus 的配置文件,为其增加 basic_auth
的配置项即可。
global:
scrape_interval: 15s
evaluation_interval: 15s
scrape_configs:
- job_name: 'prometheus'
static_configs:
- targets: ['localhost:9090']
- job_name: 'node_exporter'
scheme: https
tls_config:
ca_file: node_exporter.crt
basic_auth:
username: prometheus
password: moelove.info
static_configs:
- targets: ['localhost:9100']
修改配置文件后,只要让 Prometheus 重新加载配置文件即可:
(MoeLove) ➜ killall -HUP prometheus
现在刷新 Prometheus 的 Targets 页面,就可以看到已经正常抓取 metrics 了。
总结
本文介绍了如何开启 Prometheus 和 Node Exporter 之间的 TLS 连接, 以及开启 Node Exporter 的 Basic Auth 认证。 在此之前,可能有小伙伴是通过加反代来完成的,比如: 给 Node Exporter 加上 Basic 认证
在生产中使用时,建议更加规范化操作,比如 CA 的选择,密码的管理等,比如 Node Exporter 的 Basic Auth 其实支持配置多个用户名密码的。
接下来,在 Prometheus 官方提供的基础组件中,都将逐步推进本文中所提到的这类安全特性的支持,包括 Prometheus,Alertmanager, Pushgateway 和官方 exporter ,后续社区提供的 exporter 大概率也会逐步跟进的。
最后,再次恭喜 Node Exporter 迎来了 v1.0.0 版本。
欢迎订阅我的文章公众号【MoeLove】
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。