从运维小白成长为运维开发专家的修炼之路

2023-09-26
阅读 1 分钟
694
类型技术栈名称和地址 前后端开发gin/gorm/vue3/ts<持续更新>7模块大运维平台开发-go-vue-k8s-cicd-服务树-监控 前后端开发vue2/restfulapik8s管理运维平台实战前端vue后端golang go后端开发 go语言基础go语言基础golang语言基础课程 go运维工具开发dag/pipelinegolang实战开发课程之pipeline流水线工具 go运维平...

k8s中查看默认调度器开启的插件以及权重的含义

2023-02-24
阅读 17 分钟
1.4k
要点01:软件配置项的来源主要有2块:命令行参数 和 配置文件k8s中的组件一般都是遵循上面的模式我们以kube-scheduler为例命令参数举例 :可以看到--xxx=xxx的传参,当然所有参数都是有默认值的,如果你不传就走默认 {代码...} 上面的命令行参数中可以看到--config=xxx.yaml指定了 配置文件的路径比如我们可以查看 这个...
封面图

k8s默认调度器关于pod申请资源过滤的源码细节

2023-01-03
阅读 7 分钟
1.5k
思考 Q1 k8s的默认调度器是在哪个环节过滤满足这个pod资源的节点的?如果问你是否了解k8s的调度原理,大家估计都会滔滔不绝说一通但是是否真正的了解其中的细节估计就不好说了下面是我阅读k8s调度器的源码分析的全过程我的23个课程推荐k8s零基础入门运维课程k8s零基础入门运维课程,计算存储网络和常见的集群相关操作k8s...

k8s apiserver中的限流策略源码解读

2022-11-11
阅读 8 分钟
1.2k
k8s零基础入门运维课程k8s零基础入门运维课程,计算存储网络和常见的集群相关操作k8s纯源码解读教程(3个课程内容合成一个大课程)k8s底层原理和源码讲解之精华篇k8s底层原理和源码讲解之进阶篇k8s纯源码解读课程,助力你变成k8s专家k8s运维进阶调优课程k8s运维大师课程k8s管理运维平台实战k8s管理运维平台实战前端vue后端...
封面图

从k8s集群e2e调度慢告警看kube-scheduler源码

2022-11-10
阅读 9 分钟
834
k8s零基础入门运维课程k8s零基础入门运维课程,计算存储网络和常见的集群相关操作k8s纯源码解读教程(3个课程内容合成一个大课程)k8s底层原理和源码讲解之精华篇k8s底层原理和源码讲解之进阶篇k8s纯源码解读课程,助力你变成k8s专家k8s运维进阶调优课程k8s运维大师课程k8s管理运维平台实战k8s管理运维平台实战前端vue后端...
封面图

k8s 监控 cicd 运维3大核心方向 想成为和我一样的专家么 经验分享给你

2022-09-21
阅读 3 分钟
4.2k
7模块golang大运维平台开发 服务树-cmdb-cicd-Prometheus-k8s-工单-任务执行7模块golang大运维平台开发 服务树-cmdb-cicd-Prometheus-k8s-工单-任务执行`# 运维目前3大核心方向 想成为和我一样的专家么 经验分享给你目前运维的3个火热的方向 : k8s、监控、cicd分析视频链接无论是否直接维护开发这3大类工具,都必须要求...
封面图

prometheus-go-sdk不活跃指标清理问题

2022-06-21
阅读 8 分钟
1.9k
k8s教程说明k8s底层原理和源码讲解之精华篇k8s底层原理和源码讲解之进阶篇k8s纯源码解读课程,助力你变成k8s专家k8s-operator和crd实战开发 助你成为k8s专家tekton全流水线实战和pipeline运行原理源码解读prometheus全组件的教程01_prometheus全组件配置使用、底层原理解析、高可用实战02_prometheus-thanos使用和源码解...
封面图

从k8s集群e2e调度慢告警看kube-scheduler源码

2022-04-07
阅读 9 分钟
2.5k
k8s教程说明k8s底层原理和源码讲解之精华篇k8s底层原理和源码讲解之进阶篇k8s纯源码解读课程,助力你变成k8s专家k8s-operator和crd实战开发 助你成为k8s专家tekton全流水线实战和pipeline运行原理源码解读prometheus全组件的教程01_prometheus全组件配置使用、底层原理解析、高可用实战02_prometheus-thanos使用和源码解...
封面图

成为一名k8s专家需要掌握哪些知识?当我读完k8s源码之后总结

2022-01-12
阅读 5 分钟
3.2k
7模块golang大运维平台开发 服务树-cmdb-cicd-Prometheus-k8s-工单-任务执行7模块golang大运维平台开发 服务树-cmdb-cicd-Prometheus-k8s-工单-任务执行成为一名k8s专家需要掌握哪些知识在完整的阅读了k8s源码,梳理了160多篇文档之后我进行如下的总结:当然主要目的是罗列一些关键点:具体细节受限篇幅不会贴出来k8s零...
封面图

prometheus range_query源码解读和高基数判定依据query_log各阶段统计耗时原理

2021-05-06
阅读 9 分钟
6k
在时序数据库中的高基数问题可以看我之前写的文章高基数和prometheus中判定高基数的三种方法今天我们讲解下其中第二种判定方法的range_query 原理并且讲解下query_log统计的原理总结range_query查询过程解析参数设置超时并设置opentracing根据queryEngine初始化query并解析promqlexec函数先设置 ExecTotalTimeexec函数进...

服务树系列(二):开源服务树:stree-index 物化路径+倒排索引实现的开源服务树核心组件

2020-10-10
阅读 7 分钟
5k
开源项目地址:项目地址: [链接]什么是服务树及其核心功能服务树效果图可以看我之前写的文章 服务树系列(一):什么是服务树及其核心功能核心功能有三个树级结构灵活的资源查询权限相关今天仅讨论前两种的实现树级结构实现调研后发现有下列几种实现方式左右值编码区间嵌套闭包表物化路径而stree-index采用的是物化路径物化...

开源项目 : prome-route: 使用反向代理实现prometheus分片

2020-09-10
阅读 2 分钟
1.8k
开源项目地址:项目地址: [链接]PS: 这是一个仅用时半天就写完的项目架构图prometheus HAprometheus本地tsdb性能出色,但是碍于其没有集群版本导致HA较差实现手段注意这些手段都是要数据的统一存储可以通过remote_write 到一个提供HA的tsdb存储中通过联邦收集到一个prometheus里问题来了,搞不定集中式的tsdb集群,或者集...

服务树系列(一):什么是服务树及其核心功能

2020-08-25
阅读 5 分钟
6.8k
服务树这个名词几乎所有运维和运维开发同学都不陌生,但是服务树的原理和为啥用服务树估计大家并不了解,本文先来讨论下这些基本概念,下文讨论如何实现,下图为其核心组件stree-index现已开源

m3db-node oom追踪和内存分配器代码查看

2020-08-13
阅读 3 分钟
2.3k
m3dbnode oomoom时排查内存火焰图: 80G内存bytes_pool_get_on_empty qps 很高db read qps增长 80%node cpu kernel 暴涨看图结论m3dbnode 内存oom过程很短,很剧烈:总时间不超过7分钟内存从27G增长到250G节点sys态cpu暴涨:因为大量的mem_alloca sys_call内存增长曲线和db_read_qps曲线和bytes_pool_get_on_empty曲线高...

开源项目: self_upgrade: C/S架构中 agent如何自升级(以falcon-agent为例)

2020-07-27
阅读 9 分钟
3.9k
项目地址代码地址 [链接]前言在我们日常运维/运维开发工作中各种系统主要分为两大流派本文主要讨论下有agent侧一些注意事项客户端服务端的C/S架构优点c/s架构相比于基于ssh的并发和吞吐量要高的多利用agent可做的事情很多以及更精准的控制缺点功能更新需要升级agentagent如果保活是个头疼的问题机器上agent过多如何管理...

prometheus 本地存储解析及其使用的那些"黑科技"

2020-07-15
阅读 13 分钟
4.8k
本文代码基于prometheus 2.19.2分析 基本概念 什么是tsdb {代码...} prometheus 基本概念 sample 数据点 {代码...} sample代表一个数据点 size:16byte: 包含 1个8byte int64时间戳和1个8byte float64 value Label 标签 {代码...} 一对label 比如 job="ec2" Labels 标签组 {代码...} 就是metric 一个指标的所有tag values...

open-falcon-alarm 代码分析

2020-07-07
阅读 7 分钟
2.6k
高优先级报警比如p0: judge产生报警事件-->写入redis event:p0队列 -->alarm消费-->获取发送对象并处理调用回调函数(如果有)-->根据策略不同生成不同通道的报警(im,sms,mail,phone)等-->写入redis各个通道的发送队列 /im /sms /mail /phone -->发送报警的worker取出报警发送

开源项目:polymetric:监控聚合器系列之: open-falcon新聚合器polymetric

2020-07-04
阅读 7 分钟
2.9k
简单来说:需要将分散的大量监控数据按照一定的维度(idc/service)及一定的算法(avg/sum/max/min/quantile分位)得到一个结果值

open-falcon 聚合器aggregator代码解析

2020-07-04
阅读 6 分钟
2.4k
总结:aggregator聚合器就是从falcon_portal.cluster表中取出用户在页面上配置的表达式,然后解析后,通过api拿到对应机器组的所有机器,通过api查询graph数据算出一个值重新打回transfer作为一个新的点。

解读两个一致性哈希算法

2020-06-11
阅读 9 分钟
2.4k
最重要的一点忘了写了:一致性哈希算法为啥能在节点变更的时候只有少量key迁移是因为sortkeys列表其实就是一个哈希环,客户端的哈希值和存量的节点哈希值在有序的sortkeys列表中的相对位置没有变,变的是下线节点前面的哈希到再前面一个之间的值所以变更率为:1-n/m

开源项目:xprober :分布式c/s ping & http框架

2020-06-11
阅读 3 分钟
3.8k
项目地址地址 [链接]架构图需求分析网络监控工具调研多region为一般公司内网架构这个工具能提供网络性能数据监控同时也参考调研了tor维度的pingmesh方案总结key1 其实最主要能看到公有混合云内网所有region两两之间的延迟和丢包率维度落在region而不是tor,即不关心同region内的延迟如果采用单个agent集中向外探测的问题...

我对开源版本openfalcon的变更

2020-06-11
阅读 5 分钟
2.8k
ps 基于open-falcon做监控现在有点落伍了,目前我这里有更好的方案,感兴趣的github issue留言 地址 [链接] 我重写了聚合器,重写聚合器目的 poly_metric VS aggregator 解决endpoint多的聚合断点问题 解决聚合器单点问题,使得横向扩展得以实现 解耦聚合器各个单元,可以方便的增加新的聚合入口和聚合策略 .falcon agent...

开源项目 : dynamic-sharding: 解决pushgateway 高可用HA问题

2020-06-10
阅读 4 分钟
7.1k
k8s教程说明k8s底层原理和源码讲解之精华篇k8s底层原理和源码讲解之进阶篇k8s纯源码解读课程,助力你变成k8s专家k8s-operator和crd实战开发 助你成为k8s专家tekton全流水线实战和pipeline运行原理源码解读prometheus全组件的教程01_prometheus全组件配置使用、底层原理解析、高可用实战02_prometheus-thanos使用和源码解...