让性能腾飞!亚马逊云科技的 Java 云端之旅

2023-06-19
阅读 5 分钟
577
在上篇文章中,我们为大家介绍了亚马逊的 Java 生态及丰富的开发工具、框架。本文将分享亚马逊的 Java 架构、迁移途径,并分享一个具体实例,介绍如何使用机器学习来构建 Java 应用和提升 Java 性能。

Generative AI 新世界:过去、现在和未来

2023-06-16
阅读 6 分钟
1.3k
人类善于分析事物。但是现在看来,机器很有可能做得更好。机器可以不知疲倦夜以继日地分析数据,不断从中找到很多人类场景用例的模式:信用卡欺诈预警、垃圾邮件检测,股票价格预测、以及个性化地推荐商品和视频等等。他们在这些任务上变得越来越聪明了。这被称为 “分析人工智能(Analytical AI)” 或”传统人工智能(Tra...

Generative AI 新世界:文本生成领域论文解读

2023-06-14
阅读 9 分钟
1.3k
在上一篇《Generative AI 新世界:过去、现在和未来》中,我做为一名曾经多次穿越过市场周期的从业者,对 Generative AI 的发展历程、目前的热点方向、以及对未来的畅想做了一个梳理,希望可以帮助大家理清这个新周期的一些底层逻辑,例如知识底座、应用蓝图、以及发展方向和潜在机遇等方面的内容。

专注开发者体验 | GitOps 实现 Kuberentes 持续部署

2023-06-12
阅读 3 分钟
1.1k
大量的企业已经将 Kuberentes 用于其生产环境, 但面对他们正在运行的多套不同阶段的 Kuberentes 集群,仍然困惑于在保证业务团队敏捷性的同时,如何实现持续部署,高安全性、权限分离以及可审计。我们认为 GitOps 是目前比较理想的一种方法来实现基于 Kuberentes 集群的持续部署,且同时满足安全性、权限分离等企业级需求。

GitOps 最佳实践(上)| 基于 Amazon EKS 构建 CI/CD 流水线

2023-06-07
阅读 7 分钟
767
GitOps 是目前比较理想的方法来实现基于 Kuberentes 集群的持续部署。了解了 GitOps 的概念以及 CI/CD 流水线的架构,接下来我们将通过以下四个模块逐步完成构建 CI/CD 流水线的最佳实践:通过 IaC 部署云基础架构;在 Amazon EKS 集群上部署 Flux CD;利用 Flux CD 部署 GitOps 工作流;利用 GitOps 工作流实现基于镜像...

GitOps 最佳实践(下)| 基于 Amazon EKS 构建 CI/CD 流水线

2023-06-05
阅读 11 分钟
646
了解了 GitOps 的概念以及 CI/CD 流水线的架构,完成了构建 GitOps 风格的 CI/CD 流水线的前两部分,恭喜开发者们!我们一起在 GitOps 最佳实践的道路上已经实现了大半。接下来,我们一起看看构建 CI/CD 流水线最佳实践的后两个部分:

Generative AI 新世界 | 大型语言模型(LLMs)概述

2023-06-02
阅读 11 分钟
1.8k
在上一篇《Generative AI 新世界:文本生成领域论文解读》中,我带领大家一起梳理了文本生成领域(Text Generation)的主要几篇论文:InstructGPT,RLHF,PPO,GPT-3,以及 GPT-4。本期文章我将帮助大家一起梳理另一个目前炙手可热的话题:大型语言模型(Large Language Models,或简写为 LLMs)。

Generative AI 新世界 | 大语言模型(LLMs)在 Amazon SageMaker 上的动手实践

2023-05-31
阅读 21 分钟
1.1k
在上一篇《Generative AI 新世界:大型语言模型(LLMs)概述》中,我们一起探讨了大型语言模型的发展历史、语料来源、数据预处理流程策略、训练使用的网络架构、最新研究方向分析(Amazon Titan、LLaMA、PaLM-E 等),以及在亚马逊云科技上进行大型语言模型训练的一些最佳落地实践等。

Generative AI 新世界 | 走进文生图(Text-to-Image)领域

2023-05-29
阅读 8 分钟
2.2k
在之前的四篇 “Generative AI 新世界” 中,我们带领大家一起探索了生成式 AI(Generative AI),以及大型语言模型(LLMs)的全新世界概览。并在文本生成(Text Generation)领域做了一些概述、相关论文解读、以及在亚马逊云科技的落地实践和动手实验。

改变开发的未来 | 探索无服务器与人工智能的协同效应

2023-05-26
阅读 6 分钟
1.1k
无服务器计算实现无需管理底层基础架构就能构建和运行应用程序,而人工智能则让应用程序依据数据和算例做出智能决策。借助云计算,开发者打开了一个应用程序开发、构建的全新世界的大门,开发人员可以比以往任何时候都更快、更高效地构建智能的和可扩展的应用程序。

基于 Amazon API Gateway 的跨账号跨网络的私有 API 集成

2023-05-24
阅读 14 分钟
767
本文主要讨论的问题是在使用 Amazon API Gateway,通过 Private Integration、Private API 来完成私有网络环境下的跨账号或跨网络的 API 集成。API 管理平台会被设计在单独的账号中(亚马逊云科技提供的是多租户的环境),因为客观上不同业务系统的存在,都需要和 API 管理平台集成,所以API管理平台很有可能会连接不同网...

利用 DynamoDB 和 S3 结合 gzip 压缩,最大化存储玩家数据

2023-05-22
阅读 8 分钟
485
一些传统游戏架构中,采用 MySQL 存储玩家存档数据,利用分库分表分散单库单表的存储和性能压力,从而达到支持更多玩家的目的。随着数据量增长,数据表中 varchar 类型已经无法满足游戏中单字段的存储需求,而 blob 字段的应用对于这种架构下改造成本是最低的,因此一些游戏开始在最初设计的时候,数据库表结构就采用了 ...

推荐系统系列之推荐系统概览(下)

2023-05-19
阅读 5 分钟
1.2k
在推荐系统概览的第一讲中,我们介绍了推荐系统的常见概念,常用的评价指标以及首页推荐场景的通用召回策略。本文我们将继续介绍推荐系统概览的其余内容,包括详情页推荐场景中的通用召回策略,排序阶段常用的排序模型,推荐系统的冷启动问题和推荐系统架构,更多细节以及更详细的内容可以参考我的 Github repo。

亚马逊云科技 一周回顾 – 2022 年 7 月 18 日

2023-05-17
阅读 4 分钟
616
上周,Amazon 峰会(纽约)在贾维茨中心线下举办,有数千名与会者以及 100 多家赞助商和合作伙伴参加。在主题演讲中,Amazon 首席开发人员倡导者 Martin Beeby 谈到了云基础设施的创新如何帮助客户适应挑战并抓住新的机遇。其中,Liz Fong-Jones 讲述了在 Honeycomb 中迁移 Amazon Graviton 的精彩故事,Elliott Cordo ...

Amazon EKS 上有状态服务启用存储加密

2023-05-15
阅读 8 分钟
571
用户通过 Deployment, Replication Controller 可以方便地在 Kubernetes 中部署一套高可用、可扩展的分布式无状态服务。这类应用不在本地存储数据,通过简单的负载均衡策略可实现请求分发。

利用 Amazon API Gateway 和 Amazon Lambda 处理 Cloudfront 的内容请求

2023-05-12
阅读 7 分钟
3.6k
国内 Amazon Cloudfront 目前不支持 Lambda@edge 功能,不能实现基于 CDN 的 A/B 测试、rewrite、redirect、token 认证和产生 response 等功能,本文介绍如何利用 API Gateway 和 Lambda 实现 Lambda@edge 的功能。下面实验介绍通过 request header 参数值,实现 redirect 和 rewrite 的测试场景,根据 header(test_ver...

通过自定义域名 + SSL 的方式访问 Amazon MQ for RabbitMQ

2023-05-10
阅读 4 分钟
1.6k
对于需要消息传递协议的应用程序,包括 JMS、NMS、AMQP、STOMP、MQTT 和 WebSocket,Amazon 提供了 Amazon MQ。这是一个针对 Apache ActiveMQ 和 RabbitMQ 的托管消息代理服务,可以更轻松地在云中设置和操作消息代理。

全新 – Amazon EC2 R6a 实例由第三代 AMD EPYC 处理器提供支持,适用于内存密集型工作负载

2023-05-08
阅读 2 分钟
1.5k
我们在 Amazon re:Invent 2021 上推出了通用型 Amazon EC2 M6a 实例,并于今年 2 月推出了计算密集型 C6a 实例。这些实例由运行频率高达 3.6 GHz 的第三代 AMD EPYC 处理器提供支持,与上一代实例相比,性价比提高多达 35%。

基于 EKS Fargate 搭建微服务性能分析系统

2023-05-06
阅读 5 分钟
8.4k
近期 Amazon Fargate 在中国区正式落地,因 Fargate 使用 Serverless 架构,更加适合对性能要求不敏感的服务使用,Pyroscope 是一款基于 Golang 开发的应用程序性能分析工具,Pyroscope 的服务端为无状态服务且性能要求不敏感,使用 EKS Fargate 搭建 Pyroscope,Pyroscope 的客户端使用 DNS 地址连接到服务端。将为单次...

选择无服务器:Babbel 的迁移故事

2023-05-04
阅读 5 分钟
1.8k
Babbel 是一个完整的语言学习产品生态系统,囊括了世界上最畅销的语言学习应用程序。我们已售出超过 1000 万份订阅和超过 60,000 门涵盖 14 种语言的课程,创造了全球第一语言学习目的地。自 2007 年推出产品的第一天起,我们就一直在 Amazon Web Services( Amazon)上运行我们的平台,并且经常是 AWS 新服务产品的早期...

我们如何将 Amazon Snowcone 送入轨道

2023-04-29
阅读 2 分钟
969
如今,随着每次发射到达近地轨道 (LEO) 的成本似乎都在不断下降,因此有比以往任何时候都要更多的机会,来突破我们已知的界限,进行越来越大胆的实验并产生大量的原始数据。当今的实验可以使用更多类型的传感器,每种传感器都以更高的分辨率和更高的采样频率收集数据,使情况变得更加有趣。处理如此庞大的数据是一个巨大...

从软件哲学角度谈 Amazon SageMaker

2023-04-28
阅读 9 分钟
1.1k
如果你喜欢哲学并且你是一个 IT 从业者,那么你很可能对软件哲学感兴趣,你能发现存在于软件领域的哲学之美。本文我们就从软件哲学的角度来了解一下亚马逊云科技的拳头级产品 Amazon SageMaker,有两个出发点:一是 SageMaker 本身设计所遵循的软件哲学;二是从软件哲学的角度我们应该如何使用 SageMaker 提供的功能。Sa...

使用 Amazon Aurora PostgreSQL 联合查询、pg_cron 和 Amazon Lambda

2023-04-26
阅读 7 分钟
561
作为数据库迁移和现代化的一部分,您可以继续使用存储的程序和调度作业,将远程实例中的数据整合到集中式数据存储中。 Amazon Schema Conversion Tool(Amazon SCT)可帮助您将传统的 Oracle 和 SQL Server 函数转换为其等效的开源函数。但是,如何继续使用存储的程序从远程数据库中提取数据呢? 您现有的 cron 作业怎么...

基于 Amazon SageMaker 构建细粒度情感分析应用

2023-04-23
阅读 6 分钟
1.1k
细粒度情感分析(Aspect-Based Sentiment Analysis,ABSA)由于其广阔的业务价值而吸引越来越多的从业者投身其中,通过分析客户评论数据中的情感偏好往往有利于企业探寻客户关注点,挖掘客户需求,加速产品迭代,提高营销效率,完善售后服务等。毫不夸张地说,发掘出客户的声音(voice of customer)就抢占了企业发展的...

使用 Amazon SageMaker 构建文本摘要应用

2023-04-20
阅读 11 分钟
882
文本摘要,就是对给定的单个或者多个文档进行梗概,即在保证能够反映原文档的重要内容的情况下,尽可能地保持简明扼要。质量良好的文摘能够在信息检索过程中发挥重要的作用,比如利用文摘代替原文档参与索引,可以有效缩短检索的时间,同时也能减少检索结果中的冗余信息,提高用户体验。随着信息爆炸时代的到来,自动文...

使用 Amazon Step Functions 和 Amazon Athena 实现简易大数据编排

2023-04-18
阅读 10 分钟
1.1k
很多公司都在亚马逊云上围绕 Amazon S3 实现了自己的数据湖。数据湖的建设涉及到数据摄入、清洗、转换,以及呈现等多个步骤,还需要对这些步骤进行编排,这对很多人手不足或者初识数据湖的团队形成了挑战。

Amazon 中国区配置 PingIdentity 身份集成实现 Redshift 数据库群集单点登录

2023-04-15
阅读 10 分钟
1.4k
无疑使用单点登录 (SSO)访问组织中的多种应用程序能够提升用户体验 。 如果您负责为 Amazon Redshift 启用 SSO,则可以使用 ADFS、PingIdentity、Okta、Azure AD 或其他基于 SAML 浏览器的身份提供程序设置 SSO 身份验证。

Codepipeline 跨账号访问 Codecommit

2023-04-12
阅读 14 分钟
896
本文我们将介绍如何创建跨账号访问 Codecommit 代码仓库的 Codepipeline 流水线,即 CodePipeline 调用另一个账号中的 Codecommit 代码仓库。

多库多表场景下使用 Amazon EMR CDC 实时入湖最佳实践

2023-04-10
阅读 17 分钟
1.1k
CDC(Change Data Capture) 从广义上讲所有能够捕获变更数据的技术都可以称为 CDC,但本篇文章中对 CDC 的定义限定为以非侵入的方式实时捕获数据库的变更数据。例如:通过解析 MySQL 数据库的 Binlog 日志捕获变更数据,而不是通过 SQL Query 源表捕获变更数据。 Hudi 作为最热的数据湖技术框架之一, 用于构建具有增量数...

基于 Nginx&Lua 实现自建服务端埋点系统

2023-04-06
阅读 11 分钟
746
埋点数据一般取决于服务提供商想从用户身上获取什么信息。通常来讲,主要分为用户的基本属性信息和行为信息。用户的基本属性信息主要包括:年龄、性别、设备等。行为信息即用户的点击行为和浏览行为,在什么时间,哪个用户点击了哪个按钮,浏览了哪个页面,浏览时长等等的数据。 基本属性信息和行为信息又可以称之为一个...