巧用Amazon PrivateLink——轻松访问私有终端节点Amazon S3

头像
亚马逊云开发者
    阅读 7 分钟
    English
    1
    头图

    image.png

    摘要

    亚马逊云科技在2021年2月正式发布了适用于 Amazon S3 的 Amazon PrivateLink，Amazon PrivateLink 使用虚拟网络中的私有 IP 提供 Amazon Simple Storage Service (S3) 与本地资源之间的专用连接。借助此功能，您现在可以使用 Virtual Private Cloud 中的接口 VPC 终端节点，在安全的虚拟网络中直接访问作为私有终端节点的 Amazon S3。通过允许您使用私有 IP 地址访问Amazon S3，这扩展了现有网关终端节点的功能。从本地应用程序向 Amazon S3 发出的 API 请求和 HTTPS 请求会自动通过接口终端节点进行定向，这些终端节点通过 PrivateLink 以安全和私密的方式连接到 Amazon S3。

    本文档介绍的方案是通过利用跨区域间的VPC对等连接和Amazon S3的接口终端节点，来实现跨区域私有访问Amazon S3。客户可以根据自己的需要，可以通过 Amazon Direct Connect 或 Amazon VPN 提供的安全连接从本地应用程序私有访问 Amazon S3。

    image.png

    📢 想要了解更多亚马逊云科技最新技术发布和实践创新，敬请关注2021亚马逊云科技中国峰会！点击图片报名吧～更多精彩内容，敬请期待8.19-20北京、9.15深圳分会吧！

     服务介绍

    早在 2015 年，Amazon S3 是第一个支持添加 VPC 终端节点的服务；通过VPC网关终端节点提供与 Amazon S3 的安全连接，而不需要网关或 NAT 实例。其原理是在指定的路由表里，创建到Amazon S3服务的路由，与路由表相关联的每个子网都可以访问终端节点，随后通过终端节点将来自这些子网实例的流量路由到Amazon S3服务。在下图中，子网2中的实例可通过网关终端节点访问Amazon S3。

    image.png

    这种新的灵活性深受客户欢迎，但是也有它的局限性 – 不支持跨区域和本地数据中心私有访问Amazon S3，最新推出的Amazon S3接口终端节点则可以满足这种需求，其通过在选择的子网中,使用分配私有IP的ENI创建Amazon S3接口终端节点，从而实现与Amazon S3的安全连接。VPC内应用程序，或者是通过Amazon Direct Connect或Amazon VPN等安全连接到接口终端节点的本地应用程序，都可以通过接口终端节点私有访问 Amazon S3。当从本地应用程序连接到 Amazon S3 时，通过消除配置防火墙规则或互联网网关的需要，接口终端节点可简化您的网络架构。

    image.png

    Amazon S3两种终端节点的对比：

    image.png

    演示环境整体架构

      image.png

        演示环境的VPC设置：

    image.png

    注意：

    • VPC 对等连接的2个VPC的CIDR块不能有重叠
    • 使用具有接口 VPC 终端节点的私有 DNS (Amazon PrivateLink)，则必须将enableDnsHostnames 
    • 和enableDnsSupport 属性设置为 true
    • 在两个VPC对等连接中都需要启用DNS解析
    • 接口终端节点的安全组必须允许入站 HTTPS（端口 443）流量

    演示环境搭建步骤

    4.1 创建演示VPC环境

    在每个区域中通过VPC Console的向导创建一个带有公有子网和私有子网的VPC， 同时在cn-northwest-1区域创建Amazon S3桶（具体步骤略）。下面是我的演示环境中的截图：

    image.png

    cn-north-1区域VPC及子网

    image.png

    cn-northwest-1区域VPC及子网

    image.png

    在两个VPC中都启用DNS hostnames 和 DNS resolution：

    image.png

    cn-northwest-1区域Amazon S3桶

      

    4.2 搭建跨区域VPC对等连接

    把两个区域中的VPC创建对等连接，更新路由表（具体步骤略），下面是我的演示环境中的截图：

    image.png

    VPC对等连接

    image.png

    在两个VPC对等连接中都启用DNS解析

    image.png

    cn-north-1区域路由表

    image.png

    cn-northwest-1区域路由表

    4.3 验证跨区域VPC对等连接

    在cn-north-1公有子网和私有子网各创建一台EC2实例，公有子网的EC2作为跳板机连接到私有子网的EC2。同时在cn-northwest-1的私有子网创建一台EC2实例。

    image.png

    cn-north-1区域EC2

    image.png

    cn-northwest-1区域EC2

    image.png

    EC2安全组入站

    image.png

    EC2安全组出站

    借助于公有子网的EC2跳板机， 验证从cn-north-1私有子网的EC2（IP：172.31.30.22） 成功SSH到cn-northwest-1的EC2实例（IP：10.10.1.94 ）。

    image.png

    4.4 创建Amazon S3接口终端节点

    首先为确保亚马逊云科技命令行工具（例如 Amazon CLI）可以通过 HTTPS 从 VPC 中的资源向亚马逊云科技服务发出请求，接口终端节点的安全组必须允许入站 HTTPS（端口 443）流量，所以在cn-northwest-1区域创建一个安全组，入站规则如下：

    image.png

    在cn-northwest-1区域的VPC创建Amazon S3的接口终端节点，关联对应的VPC和子网，来实现跨区域私有访问Amazon S3。

    image.png

    接下来给接口终端节点关联之前创建的安全组，然后创建Amazon S3的接口终端节点。

    image.png

    创建完成后，会生成两种类型的Amazon S3接口终端节点的DNS：

    • Regional DNS – 包括唯一的VPC端点ID、服务标识符、Amazon区域和amazonaws.com， 本实例中为vpce-0257c85882d96cc95-vj9syim9.s3.cn-northwest-1.vpce.amazonaws.com.cn
    • Zone DNS – 包括可用区，如vpce-0257c85882d96cc95-vj9syim9-cn-northwest-1a.s3.cn-northwest-1.vpce.amazonaws.com.cn，客户用这种类型的DNS来指定可用区，降低跨可用区数据传输成本

    image.png

    Amazon S3接口终端节点在选择的子网中,使用分配私有IP的ENI创建Amazon Amazon S3接口终端节点，从而实现与Amazon S3的安全连接。

    image.png 

    4.5 测试验证

    首先在cn-north-1创建EC2 服务的role， 赋予Amazon S3 读写权限。

    image.png

    把创建的EC2 服务的role赋予cn-north-1私有子网的EC2（IP：172.31.30.22）。

    image.png

    验证从EC2不能直接访问cn-northwest-1的Amazon s3桶，因为EC2在私有子网，不能访问public网络访问Amazon S3 Endpoint，命令会一直hung住直到超时。

    注意：需要先把Amazon CLI升级到最新版本。

    image.png

    验证通过VPC对等连接和Amazon S3接口终端节点DNS，cn-north-1的私有子网的EC2可以成功访问位于cn-northwest-1的Amazon s3桶并上传文件。

    image.png

    image.png

    使用建议

    Amazon S3接口终端节点和之前的网关终端节点是可以共存的,建议本区域的VPC内应用程序通过网关终端节点私有安全Amazon S3，这种方式不会产生额外的费用。对于其它区域和客户数据中心用接口终端节点， 通过Amazon PrivateLink以安全和私密的方式连接到Amazon S3。推荐的架构如下：

    image.png

    对于本地数据中心访问Amazon S3接口终端节点DNS， 亚马逊云科技 Global区域可以结合Route53 Resolver（参考文档1）；亚马逊云科技中国区可以搭建DNS Proxy来实现DNS解析（参考文档2）。

    总结

    本文介绍了利用Amazon S3的接口终端节点和跨区域间的VPC对等连接，来实现跨区域私有访问Amazon S3，网络流量通过Amazon PrivateLink全部保持在Amazon网络上。客户可以根据自己的需要，可以通过Amazon Direct Connect或Amazon VPN提供的安全连接从本地应用程序私有访问Amazon S3。从本地应用程序向Amazon S3发出的 API 请求和 HTTPS 请求会自动通过接口终端节点进行定向，这些终端节点通过PrivateLink以安全和私密的方式连接到Amazon S3。

     参考文档

    本篇作者

    image.png

    朱士洋

    亚马逊云科技技术客户经理

    负责企业级客户的架构和成本优化、技术支持等工作，致力于AdTech等行业，曾供职于IBM，拥有15+年的产品设计、开发/测试、技术支持经验。

    网络
    亚马逊云开发者
    2.9k 声望9.6k 粉丝

    亚马逊云开发者社区是面向开发者交流与互动的平台。在这里，你可以分享和获取有关云计算、人工智能、IoT、区块链等相关技术和前沿知识，也可以与同行或爱好者们交流探讨，共同成长。

    « 上一篇
    使用 KubeSphere 管理 Amazon EKS Anywhere 集群
    下一篇 »
    Karpenter : 新一代 Kubernetes auto scaling 工具

    引用和评论

    推荐阅读
    头像
    Amazon Q Developer 实践：零基础创建贪吃蛇游戏

    亚马逊云开发者阅读 207

    头像
    ncat 网络工具两种使用方式介绍

    注销阅读 386

    头像
    NFV（网络虚拟化） 和 软件定义网络（SDN）--go

    putao阅读 352

    头像
    如何获取客户端真实 IP

    汝何不上九霄阅读 314

    头像
    【JavaEE】http/https 超级详解

    唠叨的甘蔗阅读 245

    头像
    自制工具 | 局域网文本、文件传输与共享，跨设备剪切板（预览版）

    字节幺零二四阅读 226

    头像
    网桥/ 网关/Vlan --rust

    putao阅读 205

    0 条评论
    得票最新