拓展 Amazon S3 技术边界: Amazon S3 Express One Zone 的创新之路

2024-03-26
阅读 6 分钟
643
自 Amazon S3 服务推出以来,一直是全球各行各业数百万客户钟爱的云存储服务。然而,随着新兴用例的不断涌现,传统存储方式面临性能瓶颈,尤其是对于对延迟极为敏感的应用程序。为前不久展开的亚马逊云科技 re:Invent 2023 大会上发布了存储相关的产品 Amazon S3 Express One Zone ,一种高性能存储类,为客户提供最快的...

探索亚马逊云科技云存储服务的性能

2023-11-24
阅读 4 分钟
635
随着企业越来越多地依赖云存储解决方案,确保存储性能的最佳状态变得至关重要。在本文中,我们将探讨在亚马逊云科技云存储服务上进行存储性能基准测试的重要性,以及如何帮助企业做出资源分配和优化的明智决策。

如何基于亚马逊云科技打造高性能的 SQL 向量数据库 MyScale

2023-11-17
阅读 4 分钟
901
MyScale 是一款完全托管于亚马逊云科技,支持 SQL 的高效向量数据库。MyScale 的优势在于,它在提供与专用向量数据库相匹敌甚至优于的性能的同时,还支持完整的 SQL 语法。在这篇文章中,我们将阐述 MyScale 是如何借助亚马逊云科技的基础设施,构建出一个稳定且高效的云数据库。

将日志压缩并归档到 Amazon S3 Glacier 存储层中

2023-10-19
阅读 5 分钟
687
在分布式架构中,经常需要保存应用程序的日志,对于亚马逊云科技的客户来说,保存通常是通过一个 Amazon S3 桶来完成。这些日志可能包含运行时事务、错误、故障状态、应用程序指标和统计信息。这些日志将被用于商业智能,以提供有用的见解并生成仪表盘、分析和报告。在一些应用程序中,日志文件作为事实的最终来源,对于...

实测 亚马逊 AI 编程助手 Amazon CodeWhisperer(全网最全)

2023-10-05
阅读 13 分钟
778
亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、活动与竞赛等。帮助中国开发者对接世界最前沿技术,观点,和项目,并将中国优秀开发者或技术推荐给全球云社区。如果你还没有关注/收藏,看到这里请一定不要匆匆划过,点这里让它成为你的技术宝库!

使用 S3 生命周期精确管理对象生命周期

2023-08-26
阅读 3 分钟
1.6k
在亚马逊工作这些年,我发现 S3 的生命周期配置是管理对象生命周期的重要但复杂的工具。在这篇文章中,我将利用实战经验,深入剖析生命周期,从核心概念到实际应用。

解决访问 Amazon S3 对象时遇到的“访问被拒绝”错误

2023-08-24
阅读 5 分钟
2.6k
作为 Amazon S3 的用户,在尝试访问 S3 存储桶中的对象时,您可能会遇到“访问被拒绝”错误。这些错误表示请求缺少执行所请求操作的有效凭证或权限策略。

利用 DynamoDB 和 S3 结合 gzip 压缩,最大化存储玩家数据

2023-05-22
阅读 8 分钟
693
一些传统游戏架构中,采用 MySQL 存储玩家存档数据,利用分库分表分散单库单表的存储和性能压力,从而达到支持更多玩家的目的。随着数据量增长,数据表中 varchar 类型已经无法满足游戏中单字段的存储需求,而 blob 字段的应用对于这种架构下改造成本是最低的,因此一些游戏开始在最初设计的时候,数据库表结构就采用了 ...

利用 ChangeStream 实现 Amazon DocumentDB 表级别容灾复制

2023-03-20
阅读 20 分钟
949
前言与 MongoDB 兼容的Amazon DocumentDB,使用完全托管式文档数据库服务轻松扩展 JSON 工作负载,通过独立扩展计算和存储,支持每秒数以百万计文档的读取请求;自动化硬件预置、修补、设置和其他数据库管理任务;通过自动复制、连续备份和严格的网络隔离实现 99.999999999% 的持久性;将现有 MongoDB 驱动程序和工具与 ...

宣布 Databricks 支持 Amazon Graviton2,性价比提高3倍

2023-02-23
阅读 2 分钟
1.2k
今天,我们很高兴地宣布 Databricks 对基于 Amazon Graviton2 的亚马逊弹性计算云(Amazon EC2)实例的支持的公开预览。Graviton 处理器由亚马逊云科技进行定制设计和优化,为运行在 Amazon EC2 上的云工作负载提供最佳性价比。当与高性能 DataRicks 查询引擎 Photon一起使用时,基于 Graviron2 的亚马逊 EC2 实例可以为...

如何使用 Terraform 在亚马逊云科技上创建 ShardingSphere Proxy 高可用集群?

2023-02-07
阅读 13 分钟
1.5k
Terraform[1] 是一个 Hashicorp[2] 开源的基础设施自动化编排工具,使用 IaC 的理念来管理基础设施的变更,并得到了亚马逊云科技,GCP,AZURE 等公有云厂商的支持以及社区提供的各种各样的 provider,已成为「基础设施即代码」领域最流行的实践方式之一,Terraform 有以下优点:

基于Amazon ECS Fargate构建Apache Superset

2022-01-15
阅读 6 分钟
3k
摘要:Apache Superset是一个开源的基于主流云原生技术构建的数据可视分析平台Business Intelligence(BI),给用户提供轻量,直观,可定制的操作界面来对接各种数据源,实现数据的查询,编排和可视化。通过结合Amazon Elastic Container Service(Amazon ECS),Amazon Cloud Map等托管服务,我们可以将Apache Superset快...
封面图

Apache Atlas 数据血缘

2022-01-14
阅读 7 分钟
2.5k
01 什么是数据血缘数据血缘跟踪、记录、展示了数据来自何处,以及在数据流转过程中应用了哪些转换操作,它有助于追溯数据来源及处理过程。数据血缘系统的核心功能:数据资产的自动发现及创建血缘关系的自动发现及创建不同视角的血缘及资产分析展示与数据血缘容易混淆的概念:数据起源。数据起源重点在于跟踪数据的原始来...
封面图

面向未来,我们来聊一聊什么是现代化数据架构

2022-01-14
阅读 6 分钟
1.7k
在不那么遥远的旧 IT 时代,有这样一个段子——假如把数据库们”聚在一起“开会”。Oracle: 我们需要企业级数据库。MySQL: Oracle 不开源。PostgreSQL: MySQL 的功能不够多。SQLite: 你可以把我嵌入到任何地方。这样,4 种数据库够大家用了。MongoDB: 为什么我们要用 join 和模式 (schema)?Bigtable: MongoDB 的对 web 的扩展...
封面图

Amazon DynamoDB 在智能湖仓架构中的实践

2022-01-14
阅读 5 分钟
1.7k
自 2012 年推出以来,已有数十万亚马逊云科技客户选择用 Amazon DynamoDB 处理关键任务的工作负载。Amazon DynamoDB 是一个非关系型数据库,允许您存储几乎无限量的数据,并以任何规模的单数毫秒级性能检索数据。
封面图

Amazon Redshift 表设计优化 – 优化已有数据表中的列大小

2022-01-14
阅读 7 分钟
2.5k
Amazon Redshift 数据仓库是种快速且完全托管的数据仓库服务,让您可以使用标准 SQL 和现有的商业智能工具经济高效地分析您的所有数据,提供优质的数据仓库解决方案。
封面图

呼叫医生云! Amazon HealthLake 正式推出

2022-01-14
阅读 5 分钟
1.5k
在 2020 年 Amazon re:Invent 大会上,我们预览了 Amazon HealthLake,这是一项完全托管、符合 HIPAA 标准的服务。医疗保健和生命科学客户可以利用此服务将来自不同孤岛和不同格式的健康信息汇总到结构化的集中式亚马逊云科技数据湖,并通过分析和机器学习 (ML) 从这些数据中获取洞察。今天,我非常高兴地宣布,Amazon H...
封面图

构建安防视频云存,和传统安防视频业务的烦恼说再见!

2022-01-14
阅读 4 分钟
1.9k
传统视频数据因为缺乏元数据索引,因此在无法确定精确的事件发生时间时,无法快速有效的定位视频信息,需要大量人力对存量视频信息进行检索。由此引入巨大的人力成本,并需要更多时间完成视频检索。
封面图

在Amazon SageMaker中灵活使用多种存储服务

2022-01-14
阅读 6 分钟
2.1k
Amazon SageMaker 是一种完全托管的端到端机器学习服务,数据科研人员、开发人员和机器学习专家可以快速、大规模地构建、训练和托管机器学习模型。这极大地推进了您所有的机器学习工作,让您能够将机器学习技术迅速融入生产应用程序。Amazon SageMaker的主要工作组件包括:算法编写、模型训练、模型评估、模型托管等。
封面图

新增功能 – Amazon FSx for NetApp ONTAP

2022-01-10
阅读 5 分钟
2k
早在 2018 年,我写了关于由完全托管式、高度可靠和高性能文件系统组成的Amazon FSx系列的前两个成员:Amazon FSx for Lustre和Amazon FSx for Windows File Server。
封面图

使用 KubeSphere 管理 Amazon EKS Anywhere 集群

2022-01-10
阅读 6 分钟
1.7k
近日,亚马逊云科技开源了 Amazon EKS Anywhere。这个项目为 Amazon EKS 提供了一种新的部署模式,可以在本地数据中心使用虚拟机轻松创建和管理 Kubernetes 集群,并利用 Amazon EKS Distro 的优势,为您的数据中心带来一致的 Kubernetes 运维管理体验。它可以对多个 Kubernetes 集群进行全生命周期管理,为用户灵活交付...
封面图

如何使用 Amazon S3 多区域访问点提高多区域应用程序的性能速度和可用性

2022-01-10
阅读 7 分钟
2.7k
构建多区域应用程序使您能够提高终端用户的延迟时间,在发生意外灾难时实现更高的可用性和弹性,并遵守与数据持久性和数据保留相关的业务要求。例如,您可能希望减少后端服务的动态 API 调用的总体延迟。或者,您可能希望延长单区域部署以处理互联网路由问题、海底电缆故障或区域连接问题,从而避免成本高昂的停机时间。...
封面图

Amazon SageMaker Data Wrangler 简化数据准备过程,助力机器学习

2022-01-10
阅读 14 分钟
2.4k
数据准备仍然是机器学习 (ML) 领域的主要挑战之一。数据科学家和工程师需要编写查询和代码以从源数据存储中获取数据,然后编写查询来转换这些数据,以创建用于模型开发和训练的特征。所有这些数据管道开发工作并不关注机器学习模型的构建,而是侧重于构建向模型提供数据所需的数据管道。Amazon SageMaker Data Wrangler ...
封面图

使用 Amazon Redshift ML 构建多分类模型

2022-01-10
阅读 7 分钟
2k
Amazon Redshift ML 通过使用简单的 SQL 语句使用 Amazon Redshift 中的数据创建和训练机器学习(ML)模型,简化了机器学习 (ML) 的操作。您可以使用 Amazon Redshift ML 来解决二进制分类、多分类和回归问题,并可以直接使用 AutoML 或 XGBoost 等技术。
封面图

构建安防视频云存,和传统安防视频业务的烦恼说再见!

2022-01-10
阅读 4 分钟
1.7k
传统视频数据因为缺乏元数据索引,因此在无法确定精确的事件发生时间时,无法快速有效的定位视频信息,需要大量人力对存量视频信息进行检索。由此引入巨大的人力成本,并需要更多时间完成视频检索。
封面图

通用数据保护条例的监管下,你的数据湖“断舍离”了吗?

2022-01-10
阅读 7 分钟
1.7k
通用数据保护条例(GDPR)是当今技术世界中的重要法规,也是众多在亚马逊云科技公有云当中建立解决方案的用户们所必须遵循的数据处理要求。GDPR中提出一项“删除权”,或者叫“被遗忘权”条款,要求通过实施相关解决方案保证删除特定用户的个人数据。
封面图

Amazon Elastic File System新增低成本单区存储类

2022-01-10
阅读 4 分钟
1.8k
Amazon Elastic File System (Amazon EFS)为跨Amazon Elastic Compute Cloud (EC2)实例,以及Amazon Elastic Container Service (ECS), Amazon Elastic Kubernetes Service (EKS), Amazon Fargate与Amazon Lambda等容器与无服务器服务提供一套简单、全托管的弹性数据共享文件系统。当前,客户能够利用Amazon EFS Standar...
封面图

在Amazon SageMaker中灵活使用多种存储服务

2022-01-10
阅读 6 分钟
1.6k
Amazon SageMaker 是一种完全托管的端到端机器学习服务,数据科研人员、开发人员和机器学习专家可以快速、大规模地构建、训练和托管机器学习模型。这极大地推进了您所有的机器学习工作,让您能够将机器学习技术迅速融入生产应用程序。Amazon SageMaker的主要工作组件包括:算法编写、模型训练、模型评估、模型托管等。
封面图

优化服务器存储架构——Amazon EBS io2 Block Express正式推出!

2022-01-10
阅读 4 分钟
2.6k
在 2020 年亚马逊云科技Re: Invent 大会上,我们预览了 Amazon EBS io2 Block Express 卷,这为下一代服务器存储架构提供了首个专为云构建的 SAN。Amazon EBS io2 Block Express 旨在满足 Microsoft SQL Server、Oracle、SAP HANA 和 SAS Analytics on Amazon 规模最大、I/O 密集度最高、任务关键型部署的要求。预览了 A...
封面图

利用Graviton2和CloudFront为S3对象存储动态生成缩略图

2022-01-10
阅读 3 分钟
2.7k
作为开发人员,经常要提供各种尺寸的图像,以确保不同屏幕尺寸和分辨率的设备都有出色的访问体验。这样对于图片的管理就会变得非常复杂。存储在S3上的图片经常会被处理成各种尺寸,以适应网站和APP。