安全地使用 Docker 和 Systemctl 部署 Kafka 的综合指南

12 月 19 日
阅读 7 分钟
48
**# 引言在现代数据架构中,Kafka 作为一种高性能的消息队列系统,已被广泛应用于处理实时数据流。在企业级部署中,保证数据传输的安全性以及服务的稳定性变得尤为重要。本文将详细介绍如何在 Docker 环境下部署 Kafka 服务,并使用 Systemctl 进行管理,特别注重在部署过程中安全性的处理,包括密码的加密存储与日志的...

Linux 权限管理实践:精确控制用户对 systemctl 和 journalctl 命令的使用

12 月 16 日
阅读 4 分钟
97
在 Linux 系统管理中,精确控制用户对特定命令的访问权限是一项关键的安全实践。使用 systemctl 和 journalctl 命令时,不当的权限设置可能会导致不必要的风险。本篇博客将详细讨论如何通过 sudoers 文件和 Polkit 策略为不同用户配置 systemctl 和 journalctl 的访问权限。

kubectl与 jq的另外一些用法

1 月 15 日
阅读 4 分钟
563
在日常运维工作中,我们需要管理和操作大量的配置文件,这在使用 Kubernetes 集群管理应用时尤为常见。Kubernetes 提供了一个名为 ConfigMap 的资源对象,它用于存储应用的配置信息。有时,我们需要查找哪些 ConfigMap 包含特定的配置值,例如一个特定的 IP 地址或者字符串。在这篇技术博客中,我将演示如何使用 kubectl...

在Kubernetes中优雅地导出和清理Ingress资源

1 月 8 日
阅读 3 分钟
491
Kubernetes的Ingress资源是定义外部访问集群服务的规则。随着微服务架构和容器化技术的普及,Ingress作为路由流量的关键组件变得愈发重要。当我们需要在环境之间迁移Ingress资源或者备份当前的配置时,就会用到导出功能。然而,直接使用kubectl导出可能会包括一些我们不需要的元数据。本篇博客将教您如何优雅地导出Kuber...

Kubernetes 配置Pod使用代理上网

1 月 4 日
阅读 3 分钟
629
在企业网络环境中进行Kubernetes集群的管理时,经常会遇到需要配置Pods通过HTTP代理服务器访问Internet的情况。这可能是由于各种原因,如安全策略限制、网络架构要求或者访问特定资源的需要。本文将介绍配置Kubernetes中Pod使用代理的两种常见方式:通过ConfigMap和直接在应用程序环境变量中设置。

使用Jenkins和单个模板部署多个Kubernetes组件

2023-12-29
阅读 10 分钟
569
在持续集成和部署中,我们通常需要部署多个实例或组件到Kubernetes集群中。通过Jenkins的管道脚本,我们可以自动化这个过程。在本文中,我将演示如何使用Jenkins Pipeline及单个YAML模板文件(.tpl)来部署多个类似的Kubernetes组件,而不需要为每个组件提供单独的模板文件。

Jenkins Pipeline脚本优化:为Kubernetes应用部署增加状态检测

2023-12-21
阅读 19 分钟
748
在软件部署的世界中,Jenkins已经成为自动化流程的代名词。不断变化的技术环境要求我们持续改进部署流程以满足现代应用部署的需要。在本篇博客中,作为一位资深运维工程师,我将分享如何将Jenkins Pipeline进化至不仅能支持部署应用直至Running状态检测,同时也能兼顾Deployment和StatefulSet资源的轮询更新,并详细介绍...

批量生成 Kubernetes 部署模板:从 1 到20顺序模板

2023-12-18
阅读 4 分钟
565
在微服务架构下,我们常常需要部署多个服务实例来确保应用的高可用性和负载均衡。在使用 Kubernetes 时,这通常意味着我们需要创建多个 YAML 文件来定义不同的资源配置。本文将指导您如何快速生成从 **pvp-game-1.yaml** 到 **pvp-game-20.yaml** 的 Kubernetes 部署与服务模板。

如何合并Kubernetes集群的Config文件:处理重名的集群和用户

2023-12-06
阅读 3 分钟
547
Kubernetes作为容器编排工具的翘楚,多集群管理已是许多DevOps工程师的日常。随着对环境的扩展,如何管理多个集群的config文件成为了一个需要解决的问题。在本篇博客中,我们讨论一个常见的场景:合并两个Kubernetes集群的config文件,同时处理存在的同名集群和用户问题。并展示如何使用 kubectl 命令切换不同的集群上下...

kubectl获取命名空间下所有configmap集合的方法

2023-12-05
阅读 4 分钟
435
获取单个configmap并忽略特定字段的操作可参照:kubectl获取ConfigMap导出YAML时如何忽略某些字段。要获取命名空间下所有ConfigMap并忽略特定字段,你可以使用kubectl命令与例如yq这样的工具结合使用来忽略或删除不需要的字段。以下是一个步骤和示例,展示了如何结合使用这些工具来实现你的目标。

kubectl获取ConfigMap导出YAML时如何忽略某些字段

2023-12-04
阅读 5 分钟
716
当我们在使用Kubernetes时,常常需要通过kubectl命令行工具来管理资源。有时我们也想将某个资源的配置导出为YAML文件,这样做有助于版本控制和资源的迁移。然而,默认情况下,使用kubectl get命令导出资源配置会包含一些元数据字段:如**annotations**, **creationTimestamp**, **resourceVersion**, **uid**等,这些字...

kubernetes1.22安装apisix

2023-07-27
阅读 13 分钟
1.1k
kubernetes环境(tke)1.20.6刚完成了升级,体验了一把Tke1.20.6升级Tke1.22.5留下的坑。traefik自定义crd各种的问题!算是比较早用traefik的用户了。大佬们都说traefik早期算是第一梯队。现在算是淘汰的网关了。纯go写的,GC语言写的网关后面都会成为三流网关。就也想顺路体验一下其他的网关,比如apisix。这貌似是基于...

Tke1.20.6升级Tke1.22.5留下的坑

2023-07-21
阅读 102 分钟
919
线上kubernetes集群,tke 1.20.6版本,跑了两年多了。六月底升级了master节点到1.22.5版本升级须知里面风险点各种文档检查都正常.......work节点没有升级,只是升级了master节点,就这样跑了三周,期间缩容的时候出现了eck admissionregistration.k8s.io/v1beta1 api的问题。今天集群中一个节点上面的traefik pod 重启了...

K8S prometheus exporter应用

2023-07-14
阅读 28 分钟
1.5k
前面对远程http服务的拨测体验简单拨测了一下http服务,最近偶遇了一下服务到期默认进入回收站,服务连不上redis数据库的问题(腾讯云报警通知服务现在不能保证优先队列,现在会滞后性)。由于日志业务上报问题,业务的错误日志没有上报给我,程序自己收集的,这就造成了滞后性。现在了想把云内资源都监控起来,当然了我...

AWS alb eks traefik realip后端真实IP

2023-06-29
阅读 5 分钟
1.1k
亚马逊 eks 集群代理用了traefik alb绑定 traefik 在node 上面暴露的端口,对外提供服务。一直也没有在意是否能正常获取客户端IP(腾讯云 阿里云的traefik 后端应用都能正常获取客户端IP),后端php服务基础镜像基于[链接]构建,对日志进行了json格式化,安装了一些其他依赖。最近后端小伙伴有个需求要获取到客户端IP然...

tke 1.20.6升级到1.22.5的一点小插曲

2023-06-27
阅读 3 分钟
816
线上tke集群1.20.6,就相当于kubernetes1.20版本吧!前几天点了一下升级,升级了master节点。按照我的个人理解集群升级会对集群api兼容性检查的,通过了升级了没有问题。昨天对集群的节点进行了缩容。然后pod进行了重新的调度。问题就来了:早期有一个搭建的eck集群:TKE1.20.6搭建elasticsearch on kubernetes。elastic-...

Jumpserver与Freeipa集成(以及其他配置)

2023-04-11
阅读 12 分钟
1.9k
jumpserver的安装参照:jumpserver的简单安装使用,Freeipa的安装参照:Freeipa的简单搭建配置。准备将Freeipa与Jumpserver集成。其实Freeipa搭建后linux客户端如果安装了Freeipa client。也能完成用户的授权权限管理了,参照:利用Freeipa实现Liunx用户身份、权限的统一管理 | 企业安全拥抱开源 。但是还是不能很好的完...

Freeipa的简单搭建配置

2023-04-03
阅读 11 分钟
3.7k
想把账户统一管理起来,jenkins,gitlab,jumpserver甚至kibana,kubernetes等等。本来搭建过openldap。昨天小伙伴强烈推荐我用一下freeipa......又进入了盲区,没有听过的东西都比较好奇,浅浅的体验一下!freeipa服务就不想部署在kubernetes中了 也准备docker方式启动部署。毕竟这样方便升级还原。kubernetes中部署了还...

jumpserver的简单安装使用

2023-03-22
阅读 16 分钟
1.5k
服务器的管理停留在xshell 登陆管理的时代,主机设备数量少,单人操作的时候还能满足使用。现在的主机数量不多不少也有大几十台。然后就面临的多人的登陆与管理。过去都是直接给账户密码。但这样就会面临操作审计的问题。虽然给的机器都是测试环境的,但是追溯操作人,审计也还是大问题。另外就是数据库的远程操作。小伙...

gitlab与ldap集成

2023-03-03
阅读 7 分钟
1.8k
紧跟gitlab 15.8 on rocky 8,准备将gitlab与ldap打通,后续jenkins也是。方便用户的统一管理,现在的用户管理都是单独的,用户的离职和管理很是麻烦,正好借这次条例流程尝试全部打通,统一管理一下!关于ldap的搭建可以参考:Kuberneters 搭建openLDAP

gitlab ssh无法clone(ssh-keygen加密算法问题)

2023-03-03
阅读 4 分钟
1.2k
gitlab 比较古老的一个版本8.5.8(twang2218/gitlab-ce-zh:8.5.8).搭建方式可以参照:Kubernetes 1.20.5 安装gitlab。其实都是基于sameersbn的文档搭建的,甚是古老!开启了https and ssh的方式(也有http,毕竟on kubernetes.作了端口的映射),https and http clone的时候经常会出现504......也没有办法仓库都大几百M......

jenkins harbor webhook自动触发构建

2023-02-24
阅读 7 分钟
2k
cicd还是基于jenkins(spinnaker虽然也玩了,公司规模也小,简单jenkins可以走天下)其实很多场景还是手动构建的,基本没有做自动构建的jenkins流程。今天就突然有了那么一个需求。合作方大爷要频繁修改一个镜像。恩他们构建了镜像上传到仓库(仓库咱们的,对方木有),他们也不想第二次操作jenkins什么的...当然了他们...

AWS简单搭建使用EKS二

2023-02-15
阅读 5 分钟
812
背景:紧接AWS简单搭建使用EKS一,eks集群简单搭建完成。需要搭建有状态服务必然就用到了storageclass 存储类,这里用ebs记录以下AWS简单搭建使用EKS二存储类选型:参照官方文档:[链接]关于eks的存储类:参照:存储类个人这里习惯用EBS块存储!使用 AWS CLI 创建 Amazon EBS CSI 插件 IAM 角色参照:[链接]查看集群的 O...

AWS简单搭建使用EKS一

2023-02-14
阅读 8 分钟
2.1k
海外服务合作方服务器部署在新加坡AWS,然后就顺便使用了一下AWS上面的各项服务。最近要给合作方写交付文档,就顺便写一下相关服务的简单使用,并没有太深入,因为所有环境搭建基本都是速成流程,小公司说上就上,没有时间深入研究积累,且主要服务环境都运行在国外腾讯云and阿里云。下面是一些流程的演示!注意:演示流...

kubernetes关于eks一次异常问题的复盘

2023-02-02
阅读 5 分钟
816
事情经过是这样的12月28日更新镜像,172-31-17-92节点出现了一次镜像ImagePullBackOff,由于我镜像仓库位于国内我当时怀疑是网络问题,将镜像修改tag 上传到了dockerhub仓库,but 在宿主机操作docker pull 上传到dockerhub的镜像依然是pull不动,索性 restart了一下docker and kubelet 重新下载成功了......祸根就从这里...

Kubernetes搭建Yearning与简单使用

2023-02-01
阅读 11 分钟
1.4k
数据库基本为myql,数量不是很多,过去一直默认开启了防火墙模式通过公司固定IP,远程访问操作mysql。疫情原因,一些小伙伴不喜欢远程通过公司的网络去连接mysql,频繁添加防火墙操作。并且对数据库的操作及其不规范,没有访问操作的日志,也没有各种审核。虽然每次操作数据库前会对数据库进行备份。但是这样的安全操作隐...

记录一下阿里云ACK的nodeport Local Cluster

2022-10-27
阅读 2 分钟
932
很久很近以前(恩200多天前了),创建了一个服务应用,使用了nodeport的方式对外暴露服务,划重点--控制台创建的网络服务:过程就是这样的......一直相安无事。但是不明所以今天业务突然无法访问了(访问地址用了其中某一太的公网地址)......试着访问了一下有点怀疑防火墙,安全组?看了一眼都没有问题。kubeclt get po...

Kubernetes小技巧关于节点pod ip node数量规划

2022-09-27
阅读 4 分钟
742
最近就想体验各种多集群互联(基于wireguard),然后就深感网络划分的重要性,开始网络设计的杂七乱八的。想互联了都各种问题了,网络重叠了怎么办?集群扩容IP资源不够了杂整?还有就是默认的每个node节点的subset都默认是24?我一台机器上面也跑不了那么多Pod阿......恩 默认的 SUBNET都是24,举个例子:我的kubernete...

如何搭建代理镜像仓库

2022-09-15
阅读 11 分钟
2.6k
不知道各位有没有我这种尴尬:kubernetes搭建过程中需要拉取到一些镜像,比如: dockerhub的镜像,这个还好。毕竟有加速器。but k8s.gcr.io,quay.io.这些怎么搞?正巧搭建kubeadm 1.25,helm安装cilium的时候悲摧了。下载不动怎么搞?docker时代的时候我还可以直接导入,但是containerd时代了 导入了还是要麻烦一些阿?搜...

深度吐槽阿里云ack服务

2022-08-18
阅读 4 分钟
1.1k
算是一个腾讯云深度用户,用了78年左右,由于业务需求,今年五月份开始逐步在阿里云跑了一些服务。不吹不黑。发自内心的吐槽一下阿里云的ack服务。其他服务没有多大发言权。都差不多。但是作为一个算是比较早期的kubernetes用户有必要吐槽一下阿里云的ack服务,没有办法。圈子里面没有阿里云容器组的人,像是腾讯云的tke...