主要观点:近期通过整合监控解决方案和生成式 AI 实现了 IT 事件报告的自动化,分享此过程中的观察与经验,包括设置 Ollama 用于本地环境、下载 Gemma 2 模型、与 eG Innovations 等观测解决方案集成、用 Ollama 处理提示、满足本地和互联网用户需求、准备有效提示及成本考虑等方面。
关键信息:
- 利用 Gemma AI 模型(本地 Ollama)和 Llama-3.1 AI 模型(通过 OpenAI),加快对系统问题的理解和修复步骤,由一级工程师自动创建事件报告。
- 前提条件包括 eG Innovations SaaS 服务订阅或 eG Innovations Manager 安装及相关信息,以及不同环境下的设置要求(如本地 AI 模型需 Windows 服务器及 GPU 卡或互联网连接,SaaS AI 模型需有效 OpenAI API 密钥)。
- 详细介绍了在本地环境中设置 Ollama 的步骤,如下载、安装、验证状态、配置命令行访问等。
- 下载 Gemma 2 模型时需打开提升权限的命令提示符,执行相应命令,过程约 5.4GB 大小,下载成功后会有提示。
- 与 eG Innovations 集成时通过 Spring Boot 和 Spring AI 库连接其 API 检索警报,构造提示并发送给 AI 模型,还给出了无效提示示例及改进方向。
- 处理提示时通过异步操作管理、订阅响应流等步骤实时打印响应并确保操作完成或超时。
- 对于本地和互联网用户需求,本地部署 Ollama 服务生成报告更安全高效,避免传输敏感数据,同时也实现了通过 Perplexity API 网关访问 SaaS 服务。
- 准备有效提示需使用四个 API 调用,以增强相关性,还给出了包含多个 API 输入的事件报告示例及不同 AI 模型的响应。
- 成本方面需监控 Ollama 服务器的 CPU 和内存利用率,Perplexity APIs 每个事件报告约 0.01 - 0.03 美元。
重要细节: - 在不同步骤中给出了大量的代码示例,如获取 eG 警报的 Java 代码、处理提示的 Java 代码等,详细说明了实现过程。
- 对各步骤中的关键操作和参数进行了说明,如 Ollama 的安装路径、API 的请求参数等。
- 强调了提示工程的重要性,以及在处理大量警报时要注意 API 速率限制和异步处理等。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。