流水线有什么价值? 如何搭建流水线?

前言

大家好，我是老马。

“大不了就进厂打螺丝”，这大概是很多人的自嘲，或者是无奈的退路。

我们通常用“打螺丝”来指代一些简单、重复、机械繁琐的工作。

众所周知，一件事物的复杂度是固定的，任何一个零件的加工都需要很多步骤。

那么，如何让其变得简单固定呢？

工厂中的流水线

流水线是工业时代非常伟大的发明。

本质上是对一个复杂的流程进行拆解，改为标准化-简单化-可度量-可规模化的一个流水线步骤。

好处是工人的门槛降低了很多，每个人只需要专注处理其中的一个小步骤，越简单，越容易上手；越简单，也不容易出错。

当然，每一道工序是否合格，都可以在后续加一道 QA 检测，验证是否合格。

这种模式非常适合规模化的生产，可以随着投入人数的增加，效率大幅度提升，及时响应市场的需求。

缺点

甘蔗不能两头甜，流水线模式的缺点也是有的。

流水线的基础设施要求比较高，前期需要经过长期的规划+建设，投资成本比较高。

且一旦建成，工业上想随意修改的成本也会相对较高。

对工人而言，因为工作相对简单，很容易厌倦和缺乏工作激情。

软件中的流水线

工业的发展要比软件早得多，所以有很多值得学习的地方。

1970 年，瀑布式开发模型由温斯顿·罗伊斯提出，将软件生命周期划分为制定计划、需求分析、软件设计、程序编写、软件测试和运行维护等六个基本活动，规定了它们自上而下、相互衔接的固定次序。

1994 年，Grady Booch 提出持续集成。

看的出来，其实也没有多少年。大部分公司，还是停留在瀑布开发模式中。

为什么能提效？

个人理解，最主要的是 CI/CD 让我们在协作时，可以让代码保持是最新的。

每一个节点，可以添加严格的 QA 检测，比如代码是否合并了最新的分支，sonar 扫描质量是否过关，单元测试覆盖率是否满足，回归用力地通过率是否满足要求，接口文档自动更新等等。

这样可以部分功能的提测，让测试先介入进来。

测试不通过，可以打回让开发改进优化。

因为是持续部署，所以运维这一步已经提前介入了，而不用等到最后交付的时候。

编码、构建、测试、部署、监控和反馈，有些步骤的自动化减少了人工的干预，更加实时，而且错误率也更低。

如何搭建流水线呢？

说的挺好的，令人有些心动！

那么，哪里可以买到呢？（划掉）怎么自己搭建呢？

技术选型

流水线涉及到的点还是比较多的，真正转型是一个比较漫长的过程，可以逐步改进。

下面罗列一些老马比较看好的技术选型：

1. 版本控制系统 (VCS)

Git：Git 是最常用的版本控制工具，几乎所有流水线都会与 Git 集成。推荐使用 GitHub、GitLab、Bitbucket 等托管平台，或者自己搭建 Git 服务器。
```
Gitlab 有可以本地部署的版本，大多数中小型公司的不二选择。
```

2. 持续集成工具 (CI)

Jenkins：Jenkins 是一个非常流行的开源 CI/CD 工具，具有丰富的插件支持，能够与 Git 集成，实现自动化构建、测试等功能。
GitLab CI/CD：如果你使用 GitLab，它自带 CI/CD 功能，配置较为简便，适合中小型项目。

Jenkins 到目前为止还是技术的主流。

3. 构建工具

Maven / Gradle（Java）：如果是 Java 项目，Maven 和 Gradle 是常见的构建工具，能够处理依赖管理和项目构建。
npm / yarn（Node.js）：对于 Node.js 项目，npm 和 yarn 是常见的包管理工具，支持构建、测试等。
Makefile：对于 C/C++ 项目，Makefile 是经典的构建工具。

老马是 java 开发，平时 maven 用的最多；前端小伙伴对于 npm 应该不会陌生。

4. 代码质量和测试工具

SonarQube：一个开源的代码质量检查工具，支持多种语言，能够检测代码的潜在问题、漏洞、重复代码等。
JUnit / TestNG / Mocha / Jest：根据不同的开发语言，选择合适的单元测试框架。
Selenium：用于 Web 应用的自动化测试，可以集成到 CI 流水线中。
Linting 和格式化工具（如 ESLint、Prettier）：确保代码风格统一，减少人工检查的负担。

单元测试还是推荐大家写一写，当然相对较长的业务链，还是需要归回用例才更有价值。

SonarQube 是一个非常好用的 QA 工具，直接部署即可。

5. 容器化和虚拟化

Docker：容器化是现代软件开发的趋势，Docker 能够保证环境一致性，并简化部署。将应用和其依赖打包成镜像，使得在开发、测试、生产环境中都能得到一致的体验。
Kubernetes（可选）：如果你的项目需要部署到集群或云环境，可以考虑使用 Kubernetes 管理容器。虽然 Kubernetes 本身较为复杂，但它能够解决微服务架构中容器编排和服务发现等问题。

容器化这一块老马一直在使用，但是实际参与建设的并不多。

不过现在很多公司的 docker 容器化还是挺成熟的，用起来也确实方便快捷。

6. 部署工具

Ansible：一个简单的自动化部署工具，适合管理服务器的配置和部署任务。
Terraform：用于管理基础设施的开源工具，适合部署到云平台。

Helm：如果使用 Kubernetes，可以使用 Helm 来简化 Kubernetes 应用的部署和管理。

部署工具一般推荐自建，或者二开。

核心能力就是 ssh 到指定机器，然后调度执行对应的脚本。

自建的好处是，后续可以更加灵活的定义巡检作业+监控报警自愈的流程打通。

7. 监控与日志管理

Prometheus + Grafana：监控工具，Prometheus 收集监控数据，Grafana 用于展示数据，适合在生产环境中使用。
ELK Stack（Elasticsearch, Logstash, Kibana）：用于日志收集、存储和可视化，帮助开发和运维人员快速定位问题。
CAT：CAT 作为服务端项目基础组件，提供了 Java, C/C++, Node.js, Python, Go 等多语言客户端，已经在美团点评的基础架构中间件框架（MVC框架，RPC框架，数据库框架，缓存框架等，消息队列，配置系统等）深度集成，为美团点评各业务线提供系统丰富的性能指标、健康状况、实时告警等。
SQL：SQL 这一块主要是一些业务的处理，目前市面上看起来没有特别好的，主要是自研。主要就是 SQL 的分布式定时调度。

监控报警是很重要的一个环节，也是老马最近一直在重点学习的内容。