配置 Hue 访问 AWS S3 中国区（qbit）

头像
qbit
    262173
    发布于
    重庆
     
    • Hue: Hadoop User Experience

    • 环境

      AWS emr-5.30.1
Hue 4.6.0
    • qbit 参照这两篇 Hue 官方文档搞了很久都没配好：文档一，文档二
    • 文档编写者估计没考虑到独立运营的 AWS 中国区用户的痛
    • 搞明白了也简单，就是在官方文档的基础上还得配置 host 参数

    • 摘录配置如下

      [aws]
[[aws_accounts]]
  [[[default]]]
# AWS credentials
access_key_id=s3accesskeyid
secret_access_key=s3secretaccesskey
allow_environment_credentials=false
region=cn-northwest-1
# Hue 官方文档没讲到的就是这个 host 参数
# qbit 用的是中国宁夏区
host=s3.cn-northwest-1.amazonaws.com.cn
    • 上面的配置一般通过 config.json 配置，不必登录到具体 EC2 上操作。
    • 最后放张图吧
      aws_hue_s3
    本文出自 qbit snap
    hadoopamazon-web-serviceshue
    本作品系原创，采用《署名-非商业性使用-禁止演绎 4.0 国际》许可协议
    qbit snap
    开箱即用，拿走不谢。
    avatar
    262 声望
    275 粉丝
    0 条评论
    得票最新
    推荐阅读
    Windows 下多版本 Python 共享 Poetry（qbit）
    前言技术栈 {代码...} Python 3.8 安装目录 {代码...} Python 3.11 安装目录 {代码...} 安装 poetry设置将以下路径加入 path 环境变量 {代码...} 复制文件 {代码...} 设置 pip 国内镜像源 {代码...} 升级 pip {代...

    qbit阅读 185

    【深入浅出 Yarn 架构与实现】4-4 RM 管理 Application
    在 YARN 中，Application 是指应用程序，它可能启动多个运行实例，每个运行实例由 —个 ApplicationMaster 与一组该 ApplicationMaster 启动的任务组成，它拥有名称、队列、优先级等属性，是一个比较宽泛的概念，...

    大数据王小皮阅读 547

    Mobileye如何在云上进行深度学习模型训练
    Mobileye是家以色列公司，1999年由色列希伯来大学的Amnon Shashua教授和Ziv Aviram创立，以低成本摄像头为基础，通过计算机视觉技术研发高级驾驶辅助系统（ADAS)。产品从研发到正式商用花了8年时间，而在2017年被...

    Randy阅读 535

    Centos7系统编译Hadoop3.3.4
    最近在学习hadoop，此篇文章简单记录一下通过源码来编译hadoop。为什么要重新编译hadoop源码，是因为为了匹配不同操作系统的本地库环境。

    huan1993阅读 449

    封面图
    【深入浅出 Yarn 架构与实现】4-5 RM 行为探究 - 启动 ApplicationMaster
    本节开始，将对 ResourceManager 中一些常见行为进行分析探究，看某些具体关键的行为，在 RM 中是如何流转的。本节将深入源码探究「启动 ApplicationMaster」的具体流程。

    大数据王小皮阅读 365

    Centos7搭建hadoop3.3.4分布式集群
    1、背景最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。2、集群规划hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。2.1 hdfs集群规划ip地址...

    huan1993阅读 300

    封面图
    Hadoop 及Spark 分布式HA运行环境搭建
    工欲善其事必先利其器，在深入学习大数据相关技术之前，先手动从0到1搭建一个属于自己的本地Hadoop和Spark运行环境，对于继续研究大数据生态圈各类技术具有重要意义。本文旨在站在研发的角度上通过手动实践搭建运...

    京东云开发者阅读 286

    封面图
    avatar
    262 声望
    275 粉丝
    宣传栏
    21