【赵渝强老师】阿里云大数据生态圈体系

  基于开源的大数据技术，阿里云开发了自己的大数据计算服务，即：MaxCompute大数据计算服务。MaxCompute原名为ODPS（Open Data Processing Service），它是阿里云提供的数据仓库解决方案，并提供大数据量（百TB、PB、EB）的结构化数据的存储和计算服务。由于MaxCompute适用于离线计算的批处理场景，因此阿里云进一步开发了实时计算Flink版用于支持大数据的实时处理与计算。视频讲解如下：
https://www.bilibili.com/video/BV1iy411B7J7/?aid=1955622424&c...

  下图展示了阿里云大数据的生态圈体系。

一、阿里云大数据基础组件

  在了解到了阿里云大数据生态圈系统后，这里将详细介绍阿里云提供的大数据基础组件及其功能特性。

（一）数据存储服务

  阿里云大数据的数据存储服务主要包括对象存储服务Object Storage Service、表格存储Table Storage、关系型数据库RDS和分布式关系型数据库DRDS。

• 对象存储服务Object Storage Service
    阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，可提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。多种存储类型供选择，全面优化存储成本。
• 表格存储Table Storage
    阿里云表格存储（Tablestore）面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。
• 关系型数据库RDS
    阿里云关系型数据库RDS（Relational Database Service）是一种稳定可靠、可弹性伸缩的在线数据库服务。基于阿里云分布式文件系统和SSD盘高性能存储，RDS支持MySQL、SQLServer、PostgreSQL和MariaDBTX引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，有效帮助用户解决数据库运维的相关问题。

• 分布式关系型数据库DRDS
    分布式关系型数据库服务（Distributed Relational Database Service，简称DRDS）是阿里巴巴致力于解决单机数据库服务瓶颈问题而自主研发推出的分布式数据库产品，解决了一些传统单库RDS数据库的痛点。

  （二）数据计算服务

    阿里云大数据的数据存储服务主要包括MaxCompute离线计算服务、分析型数据库Analytic DB和实时计算Flink版。

• 数据计算服务
    阿里云大数据的数据存储服务主要包括MaxCompute离线计算服务、分析型数据库Analytic DB和实时计算Flink版。
• 分析型数据库Analytic DB
    分析型数据库（Analytic DB，简称ADB）是阿里巴巴自主研发的海量数据实时高并发在线分析（Realtime OLAP）云计算服务，可以在毫秒级针对千亿级数据进行及时的多维分析透视和业务探索。

• 实时计算Flink版
    阿里云实时计算Flink版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于Apache Flink构建的企业级、高性能实时大数据处理系统。

  二、基于阿里云大数据基础组件的数加平台

    数加平台基于阿里十几年在大数据上的经验积累，基于对内的平台上做了一个对外的实例即数加。阿里云的数加平台包括多租户、账号、权限、安全、元数据、计量计费等模块，也包括算法平台PAI。它将计算引擎、数据开发工具、数据采集和传输工具、数据分析工具、机器学习平台无缝集成，提供端到端的一站式用户体验。让基于Hadoop自建数据平台成为往事，让客户专注于业务系统开发。

• 大数据开发治理平台DataWorks
    DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
• 数据可视化分析平台Quick BI
    Quick BI是一款全场景数据消费式的BI平台，秉承全场景消费数据，让业务决策触手可及的使命，通过智能的数据分析和可视化能力帮助企业构建数据分析系统，用户可以使用Quick BI制作漂亮的仪表板、格式复杂的电子表格、酷炫的大屏、有分析思路的数据门户，也可以将报表集成在业务流程中，并且通过邮件、钉钉、企业微信等分享给同事和合作伙伴。
• 机器学习PAI
    机器学习平台PAI（Platform of Artificial Intelligence）是面向开发者和企业的机器学习/深度学习工程平台，提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务，内置140+种优化算法，具备丰富的行业场景插件，为用户提供低门槛、高性能的云原生AI工程化能力。