LLM 应用可观测性:从 Trace 视角展开的探索与实践之旅

今天 01:41
阅读 9 分钟
26
随着生成式 AI 概念的火爆,以 ChatGPT 为代表,市场上涌现了一系列商用或者开源的大模型,同时基于大语言模型以及 AI 生态技术栈构建的应用以及业务场景也越来越多,大规模的模型训练以及模型推理场景也催生了 MLOps、LLMOps 等相关的岗位需求。如何监控并保障大模型应用上线的性能以及用户体验?如何支持复杂拓扑场景...

SLS 数据加工全面升级,集成 SPL 语法

7 月 26 日
阅读 3 分钟
41
在系统开发、运维过程中,日志是最重要的信息之一,其最大的优点是简单直接。不过在整个日志的生命周期里有一对很难调和的矛盾:输出和采集日志要求尽可能的简单便捷 vs 日志分析时需要数据格式化并能够按需存储。

如何从自建开源 Prometheus 迁移到阿里云托管 Prometheus 服务

7 月 26 日
阅读 7 分钟
42
Prometheus [ 1] 已成为可观测指标领域的事实标准。由于各方面因素,当前还有部分用户的部分场景仍使用“自建开源 Prometheus+自建开源 Thanos+自建 Grafana”来实现基础设施和业务应用的指标监控和告警。阿里云可观测监控 Prometheus 版 [ 2] 全面对接开源 Prometheus 生态,支持类型丰富的组件观测,提供高性能、高可用...

GraalVM 静态编译下 OTel Java Agent 的自动增强方案与实现

7 月 26 日
阅读 7 分钟
47
随着 OpenTelemetry 在可观测领域影响力的不断提升,其项目以极快的速度不断演进。阿里云作为国内最广泛使用 Java 的厂商之一,深度参与 OTel Java  Instrumentation 演进与社区活动,贡献、Review 各类 PR(pull request)合计超过 100 余个,参与 Issues 讨论 58 个,在 OpenTelemetry 项目的贡献榜亚太地区排名第一。

流量回放新形态:基于网关 Access Log 发起

7 月 25 日
阅读 5 分钟
64
无论是面向即将上线的新版本做最后的性能测试,还是在遇到棘手的故障时帮助开发人员快速定位问题原因,流量回放技术都发挥着不可或缺的作用。使用真实世界的流量数据进行回放能使性能测试过程更加接近实际运行状态,确保新版本的性能真正满足用户的预期。同时准确的流量回放能够快速复原问题发生的现场,有效缩短故障响...

全链路追踪 & 性能监控,GO 应用可观测全面升级

7 月 25 日
阅读 11 分钟
55
随着 Kubernetes 和容器化技术的普及,Go 语言不仅在云原生基础组件领域广泛应用,也在各类业务场景中占据了重要地位。如今,越来越多的新兴业务选择 Golang 作为首选编程语言。得益于丰富的 RPC 框架(如 Gin、Kratos、Kitex 等),Golang在微服务生态中愈加成熟,并被用于很多重要的开源项目,如 OpenTelemetry Collec...

求职季来了,让通义灵码陪你高效备战

7 月 24 日
阅读 4 分钟
53
随着人工智能技术的深入发展,大模型在代码编写领域的应用日益增多。通义灵码就是阿里云出品的一款基于通义大模型的智能编码辅助工具,能够自动完成代码生成、错误修复和优化等任务,在显著提升开发人员工作效率的同时,作为智能编码伙伴,也能在求职季成为程序员的“冲刺搭子”,帮你提供精选面试模拟题、精准解析编程难...

嘿!通义灵码周边「超大鼠标垫」上线啦,更多玩法等待解锁

7 月 17 日
阅读 1 分钟
133
【领鼠标垫】简单3步体验通义灵码,即可领取灵码限量版超大鼠标垫!体验通义灵码升级模型和新功能,贏灵码限量周边和大奖!两种活动玩法,丰富好礼送不停,快来参与吧!【玩法一】完成安装、学习、体验通义灵码简单三步,即可领取通义灵码限量版超大鼠标垫(限通义灵码新用户)。【玩法二】邀请更多好友完成体验,还有机...

通义灵码入选 2024 世界人工智能大会最高荣誉「镇馆之宝」

7 月 5 日
阅读 1 分钟
121
镇馆之宝是世界人工智能大会展览的最高荣誉,从科技含量、市场前景、创新性以及社会经济效益等维度综合考量评选,每年入选数量不超过 10 个,获奖产品不仅代表了当前人工智能领域的最新技术成果,还展示了未来的发展趋势和商业潜力。作为国内最受欢迎的辅助编程工具,通义灵码凭借在功能、性能、安全性以及应用落地等方...

阿里云 SAE 助力修正商城 3 周内提升系统承载能力 20 倍,轻松应对春晚流量

7 月 3 日
阅读 3 分钟
89
从了解阿里云 SAE 到使用 SAE 进行应用架构升级共经历 3 周,这 3 周我们系统能承载的 QPS 从 5000 增强到 10 万,提升 20 倍,轻松应对了春晚大促流量洪波。并且,SAE 还帮助我们降低了 20% 的使用成本,研发效率提升 40% ,应用上线周期缩短 40% 。

详解微服务应用灰度发布最佳实践

7 月 3 日
阅读 8 分钟
200
作者:子丑本次分享是站在 DevOps 视角的灰度发布实践概述,主要内容包括以下四个方面:第一,灰度发布要解决的问题;第二,灰度发布的四种典型场景;第三,如何把灰度发布融入到应用的研发流程中,即把灰度发布与 DevOps 工作融合;第四,对于外部流量灰度场景,演示如何通过工具将其落地。灰度发布想解决什么问题1、传...

5% 消耗,6 倍性能:揭秘新一代 iLogtail SPL 日志处理引擎与 Logstash 的 PK

7 月 3 日
阅读 8 分钟
103
在当今数据驱动的时代,日志收集和处理工具对于保障系统稳定性和优化运维效率至关重要。随着企业数据量的不断增加和系统架构的日益复杂,传统日志处理工具面临着性能、灵活性和易用性等多方面的挑战。Logstash 作为一款广受欢迎的开源日志收集与处理工具,早已广泛应用于各类 IT 环境。然而,随着需求的多样化和技术的发...

通义灵码 Visual Studio 小白上手指南

7 月 1 日
阅读 4 分钟
248
一、下载和安装指南本安装步骤适用于 Windows 10 及以上操作系统中安装和使用通义灵码。步骤 1:准备工作操作系统:Windows 10 及以上;下载并安装 Visual Studio 2019 16.3.0及以上或 Visual Studio 2022 17.3.0 及以上版本。步骤 2:在 Visual Studio 2022/2019 中安装通义灵码方法 1:从插件市场安装打开 Visual Stud...

基于阿里云 OpenAPI 插件,让 Grafana 轻松实现云上数据可视化

6 月 26 日
阅读 4 分钟
179
Grafana 作为市场上领先的开源监控解决方案之一,使得数据监控和可视化变得触手可及。作为一款开源的数据可视化和分析软件,Grafana 支持查询、可视化、提醒和探索您的各种数据,无论它们存储在何处。Grafana 通过数据源插件的方式提供对各类数据源的支持,用户可以利用其广泛的数据源插件,轻松整合来自不同平台的指标...

活动回顾丨云原生技术实践营 Serverless + AI 专场 (深圳站) 回顾 & PPT 下载

6 月 26 日
阅读 2 分钟
141
6 月 21 日“云原生技术实践营 Serverless + AI 应用开发专场”深圳站圆满落幕。活动受众以关注  Serverless 技术的开发者、企业决策人、云原生领域创业者为主,活动形式为演讲、动手实操,让开发者通过一个下午的时间增进对 Serverless 技术的理解,快速上手 Serverless,拥抱云计算新范式带来的技术红利。

从云原生视角看 AI 原生应用架构的实践

6 月 26 日
阅读 8 分钟
304
本文核心观点:基于大模型的 AI 原生应用将越来越多,容器和微服务为代表的云原生技术将加速渗透传统业务。API 是 AI 原生应用的一等公民,并引入了更多流量,催生企业新的生命力和想象空间。AI 原生应用对网关的需求超越了传统的路由和负载均衡功能,承载了更大的 AI 工程化使命。AI Infra 的一致性架构至关重要,API ...

22.5万奖金池丨Higress AI 网关编程挑战赛启动

6 月 26 日
阅读 3 分钟
175
AI 原生应用,对网关的需求已经超越了传统的路由和负载均衡功能,还需要为 AI 应用开发者提供便利,例如统一不同 LLM 提供商的 API 协议,并提供 API 编排、安全、稳定性和成本控制等扩展功能。

哈啰集团全面接入通义灵码,AI 生成代码占比 20%,研发提效 12%

6 月 25 日
阅读 1 分钟
254
6 月 21 日,在阿里云 AI 智领者峰会上海站,哈啰集团算法总监贾立宣布, 哈啰集团已全面接入阿里云通义灵码专属版, 不仅提升了内部研发效率,实现 AI 代码采用率超过 20%,还将灵码接入了哈啰自研 Copilot “海螺机器人”共同帮助用户实现智能代码补全、进行 CodeReview(代码评审)等。

解锁分布式云多集群统一监控的云上最佳实践

6 月 24 日
阅读 5 分钟
265
在当今数字化转型加速的时代,随着混合云、多云多集群环境等技术被众多企业广泛应用,分布式云架构已成为众多企业和组织推动业务创新、实现弹性扩展的首选,分布式云容器平台 ACK One(Distributed Cloud Container Platform for Kubernetes)是阿里云面向混合云、多集群、分布式计算等场景推出的企业级云原生平台,助力...

通义灵码上线 Visual Studio 插件市场啦!

6 月 21 日
阅读 2 分钟
295
通义灵码,是阿里云出品的一款基于通义大模型的智能编码辅助工具,提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码优化、注释生成、代码解释、研发智能问答、异常报错排查等能力,提供代码智能生成、研发智能问答能力。

报名参加通义灵码高校训练营,领 300 元阿里云产品通用抵扣金

6 月 19 日
阅读 2 分钟
332
大模型技术和应用的井喷发展,为软件研发带来了诸多改变,麦肯锡最近的一份研究数据显示,软件工程已经成为受 AIGC 影响最大的领域之一。包括个体效率、协作效率、研发体验、数字资产等企业软件研发的各个方面,都在经历着快速变化,同时也在迎接智能化重塑的新机会。

多环境镜像晋级/复用最佳实践

6 月 19 日
阅读 4 分钟
344
应用研发场景有效地管理镜像产物是确保软件快速、安全、可靠部署的关键环节。通常一个应用研发需要经过测试、预发、生产各个阶段,一种常用的研发模式如下:

云原生技术实践营 · 深圳站:Serverless + AI 专场开启报名!

6 月 19 日
阅读 1 分钟
335
“云原生技术实践营 · 深圳站 ——Serverless + AI 应用开发专场”是一场以 Serverless 为主题的技术活动,通过一个下午的时间增进对 Serverless 技术的理解,快速上手,活动受众以关注 Serverless 技术的开发者、企业决策人、云原生领域创业者为主,活动形式为演讲、动手实操。

构建多模态模型,生成主机观测指标,欢迎来战丨2024天池云原生编程挑战赛

6 月 19 日
阅读 2 分钟
332
在当前云计算和微服务架构日益普及的背景下,企业和开发者对云资源的依赖日益加深。Elastic Compute Service(ECS)作为提供计算能力的核心服务,承担着众多的业务。随着微服务架构的广泛应用,任务的部署和执行变得更为灵活和动态,资源的动态伸缩成为常态,能够根据业务需求实时调整,提升资源利用效率和应用的可用性。

AI 克隆声音,只需 3 分钟(附最全教程)

6 月 19 日
阅读 4 分钟
1.1k
继生成式文本大模型 Chatgpt,生成式图片 Stablediffusion 之后生成式语音 Text To Speech 在开源社区也出现了一匹黑马,就是 GPT-Sovits [ 1] 。

22万奖金池已到位,2024天池云原生编程挑战赛正式启动

6 月 14 日
阅读 2 分钟
372
阿里云作为云原生技术的推动者及引领者,一直走在行业发展的前沿,始终关注业内新方向。为推动新技术发展,发现创新人才。自 2015 年开始,阿里云启动中间件性能挑战赛,到2020年升级为云原生编程挑战赛,今年正值大赛十周年,我们继续向全球开发者发起邀约,请他们一同来到这场灵感火花不断迸发的挑战平台顶峰相见。

Dubbo3 服务原生支持 http 访问,兼具高性能与易用性

6 月 14 日
阅读 10 分钟
397
作为一款 rpc 框架,Dubbo 的优势是后端服务的高性能的通信、面向接口的易用性,而它带来的弊端则是 rpc 接口的测试与前端流量接入成本较高,我们需要专门的工具或协议转换才能实现后端服务调用。这个现状在 Dubbo3 中得到了彻底解决,Dubbo 3.3 版本的最新 triple 协议,在持续提供高性能通信、面向接口易用性的同时,...

AI “黏土画风”轻松拿捏,手把手带你云端部署 ComfyUI

6 月 13 日
阅读 7 分钟
523
AI 绘画领域,Stable Diffusion WebUI、Midjourney 、DALL-E 都聚拢了一大批的应用开发者和艺术创作者。ComfyUI 出现时间略晚,但是它让创作者通过工作流的方式,实现自动化水平更高的 AI 生图流程,一面世就以强劲势头脱颖而出,在 WebUI 领域开创了全新的篇章。