阿里大数据云原生化实践,EMR Spark on ACK 产品介绍

2021-06-07
阅读 2 分钟
开源大数据社区 & 阿里云 EMR 系列直播 第六期主题:EMR spark on ACK 产品演示及最佳实践讲师:石磊,阿里云 EMR 团队技术专家内容框架:• 云原生化挑战及阿里实践• Spark 容器化方案• 产品介绍和演示直播回放:扫描文章底部二维码加入钉群观看回放,或进入链接[链接]一、云原生化挑战及阿里实践大数据技术发展趋势...
封面图

Vineyard 加入 CNCF Sandbox,将继续瞄准云原生大数据分析领域

2021-05-19
阅读 4 分钟
简介: Vineyard 是一个专为云原生环境下大数据分析场景中端到端工作流提供内存数据共享的分布式引擎,我们很高兴宣布 Vineyard 在 2021 年 4 月 27 日被云原生基金会(CNCF)TOC 接受为沙箱(Sandbox)项目。
封面图

物联网海量时序数据存储有哪些挑战?

2021-05-17
阅读 8 分钟
简介: 随着 IoT 技术的快速发展,物联网设备产生的数据呈爆炸式增长,数据的总量(Volume)、数据类型越来越多(Variety)、访问速度要求越来越快(Velocity)、对数据价值(Value)的挖掘越来越重视。物联网产生的数据通常都具备时间序列特征,时序数据库是当前针对物联网 IoT、工业互联网 IIoT、应用性能监控 APM 场...
封面图

以系统化视角反观产品运营,解读提升用户转化的“四部曲”

2021-04-16
阅读 4 分钟
简介: 正常的活动运营通常会围绕公司经营目标,针对不同性质、不同类型的活动开展工作。这样的活动一般会分四个阶段:活动准备、活动策划、活动执行与活动复盘阶段。作者:友盟+数据大使 Suffering如今,移动互联网的红利期接近尾声,导致整个市场增量放缓,“寒冬”一词不断被提起,使得更多的产品经理也都开始思考:到...
封面图

爱奇艺大数据生态的实时化建设

2021-04-01
阅读 6 分钟
简介: 实时化是大数据未来最重要的方向之一。作者|爱奇艺大数据团队数据作为互联网时代的基础生产资料,在各大公司企业拥有举足轻重的地位。数据的价值在互联网公司的体现,大致而言可以分成三类:发掘数据中的信息来指导决策,如产品运营、用户增长相关的 BI 报表依托数据优化用户体验和变现效率,如信息分发场景下的...
封面图

上海鸥新:基于大数据的商场实时客流分析系统

2020-04-02
阅读 2 分钟
上海鸥新软件有限公司专注于室内定位技术和客流统计与分析的研发,如室内定位引擎、客流统计与分析系统。在用户导入客流系统的同时,为商业零售实体店提供了网络覆盖、微信上网,定时定地点向客户进行精准化商业信息推送等一体化解决方案。

Hive 终于等来了 Flink

2020-03-27
阅读 12 分钟
那 Apache Flink 什么时候支持与 Hive 的集成呢?读者可能有些疑惑,还没有支持吧,没用过?或者说最近版本才支持,但是功能还比较弱。

数云使用PolarDB快速升配 轻松应对双十一

2020-03-25
阅读 3 分钟
我们杭州数云信息技术有限公司成立于2011年,伴随着电子商务、大数据应用和零售企业互联网化的趋势快速发展,目前已成为国内领先的数据化营销软件产品和服务提供商。我们致力于为消费品牌和零售品牌商提供整合软件产品、数据模型和专业服务的一站式数据化营销解决方案。

PolarDB助力心动网络为千万级用户在线手游保驾护航

2020-03-25
阅读 2 分钟
云栖号案例库:【点击查看更多上云案例】 不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策! 公司介绍 心动网络,国内极具知名度的游戏公司,中国互联网百强企业。旗下业务涉及游戏研发运营、动画制作、偶像娱乐等多个产业。公司创立于2002年,前身为中国最早的互联网分享网站之一...

数据价值挖掘利器!阿里云实时数仓AnalyticDB PG

2020-03-23
阅读 8 分钟
随着数字经济时代的到来,越来越多的应用依赖数据分析来挖掘数据的价值。作为大数据存储、在线分析的重要基础系统,分析型数据库(OLAP)为数据价值的在线化提供重要的技术平台。

防删库实用指南 | 只需一步,快速召回被误删的表

2020-03-20
阅读 2 分钟
数据库的一些非常不错的企业级功能都是“养兵千日,用兵一时”,比如Oracle 10g中的回收站(Recycle Bin)功能,可以在特殊情况下发挥特种兵的功能,比如当你删除一个表空间、一个用户(Schema)时,可能会删除很多的表,包括你不想删除的一些表。

DataWorks百问百答01:数据同步该用什么资源组

2020-03-20
阅读 1 分钟
很多用户在使用数据集成建立同步任务时,往往都会困惑一个设置,即“资源组设置”。 大家常有的疑问是“资源组是用来做什么的?跟网络之间什么关系?我该选择那种资源组?” 下面本文给您一个简要的介绍。

任务不再等待!玩转DataWorks资源组

2020-03-20
阅读 7 分钟
DataWorks提供了三种资源组的能力:独享资源组、自定义资源组和默认资源组,很多开发者在使用资源组时经常会碰到各类情况,到时候任务运行失败或者延迟,例如: 1. 正在使用默认资源组,任务经常要等待 2.购买错了资源组类型(独享数据集成资源组与独享调度资源组),使用不了 3.购买错了地域(杭州开通DataWorks购买了...

网聚宝上云 帮助企业实现大数据变现 让生意更简单

2020-03-19
阅读 4 分钟
我们是上海云贝网络科技有限公司,正式成立于2011年,是一家专注于全域大数据应用的服务商,多元化的产品矩阵,专业团队协同运作,为企业提供专业“大数据+”升级服务,帮助企业构建数字化商业能力,实现大数据变现。

网鱼网咖通过大数据架构 极致洞察会员偏好

2020-03-19
阅读 3 分钟
我们网鱼网咖成立于1998年,致力于打造多人游戏空间,为顾客提供极致的游戏上网体验。我们公司的业务范围覆盖连锁上网服务门店、电脑及周边产品、游戏社交软件等,为加盟伙伴提供一体化的解决方案。我们公司旗下拥有网鱼网咖、风蝶网咖、网鱼电竞、虎猫电竞、诺诺茶、YVR六大连锁品牌。网鱼网咖发展快速,到现在为止门店...

小红唇APP通过大数据计算平台21天内搭建推荐系统

2020-03-19
阅读 4 分钟
小红唇App是国内最大的一款针对15-25岁年轻女性的垂直视频分享社区和社交化电商平台,业务模式为短视频美妆社区电商。我们为用户提供了丰富的平台内容、活跃的社区生态和优质的产品选择。

使用CLONE TABLE方式实现同region不同可用区的MaxCompute

2020-03-18
阅读 2 分钟
该文章主要针对于用户同region不同账户之间的MaxCompute数据迁移方式,属于迁移的方式可以有三种方式,一、添加MaxCompute数据源的方式进行数据迁移(该方式针对多个表配置同步节点较为繁琐);二、使用tunnel方式结合代码进行数据的迁移;三、使用clone table进行MaxCompute数据到另一MaxCompute之间的数据迁移。本案例...

疫情之下,中小企业数字化转型之路正在被“激活”?数字化工具的应用或成关键

2020-03-18
阅读 2 分钟
“看来这次是真的过不去了”,疫情发生后的几个礼拜,老林一筹莫展。老林是A企业的创始人,白手起家一步步把A企业打造成了全国知名化妆品连锁品牌,这些年,大部分收入仍是依靠线下门店销售,而现在,企业正在遭遇巨大危机。如何破局? 关键时刻,企业早先布局的新零售解决方案让老林看到了方向。新零售的精髓在于无处不零...

日均万亿条数据如何处理?爱奇艺实时计算平台这样做

2020-03-18
阅读 6 分钟
摘要:本文由爱奇艺大数据服务负责人梁建煌分享,介绍爱奇艺如何基于 Apache Flink 技术打造实时计算平台,并通过业务应用案例分享帮助用户了解 Apache Flink 的技术特点及应用场景。提纲如下:

MaxCompute费用对账分摊统计,优化使用数据资源

2020-03-13
阅读 16 分钟
利用MaxCompute InformationSchema与阿里云交易和账单管理API 实现MaxCompute费用对账分摊统计 一、需求场景分析 很多的企业用户选择MaxCompute按量付费模式构建自己的数据平台,利用MaxCompute按作业付费的计费模型,在获得高性能的同时避免"IDLE"状态的不必要资源费用支出,仅为实际使用付费。 那么在一个规模比较大的...

跨年演讲《时间的朋友》如何扛得住百万级流量冲击

2020-03-13
阅读 2 分钟
罗辑思维,著名的知识服务商和运营商,有微信公众号、知识类音视频节目、知识服务得到App等产品。随着品牌日积月累的沉淀,跨年演讲和其相关业务需求不断增大。

小打卡基于大数据产品实现离线数仓架构

2020-03-13
阅读 3 分钟
小打卡致力于帮助用户成为更好的自己。目前,已为3000万用户提供体验服务3.4亿人次,内容消费7.4亿人次。 在小打卡上线初期,业务分析所需的数据主要是通过查询mysql库表。 现在,小打卡的主要业务分析需求,包括业务报表,用户行为分析,A/B/n实验评估,个性化推荐,数据服务等全部是借助于阿里云的大数据平台来满足。

配置MaxCompute任务消费监控告警,避免资源过度消费

2020-03-12
阅读 1 分钟
MaxCompute 按量计费资源为弹性伸缩资源,对于计算任务,按任务需求提供所需资源,对资源使用无限制,同时MaxCompute按量计费的账单为天账单,即当天消费需要第二天才出账,因此,有必要对计算任务的消费进行监控以免超预期消费而不可知。 本文将介绍如何通过云监控配置MaxCompute按量计费计算任务消费监控告警。 背景知...

天弘基金交易数据清算从8小时缩至1.5小时 解决余额宝算力难题

2020-03-12
阅读 2 分钟
天弘基金作为国内总规模最大的公募基金,阿里云MaxCompute为我们构建了企业级一站式大数据解决方案。MaxCompute对于海量数据的存储、运维、计算能力强大且安全稳定,MaxCompute服务将原本需要清算8小时的用户交易数据缩短至清算1个半小时,同时减少了本地服务器部署压力,在显著提升我们工作效率的同时减少了大量开发成...

混合云模式助力斗鱼搭建混搭大数据架构

2020-03-12
阅读 3 分钟
2019杭州云栖大会大数据企业级服务专场,由斗鱼大数据高级专家张龙带来以 “混合云模式下 MaxCompute+Hadoop 混搭大数据架构实践” 为题的演讲。本文讲述了从 Apache Hadoop 阶段到 Cloudera CDH 阶段斗鱼大数据架构的发展历程。提出了上云过程中斗鱼遇到的问题和跳战,包括数据安全、数据同步以及迁移任务。概括了混合云...

如何在MaxCompute中利用bitmap进行数据处理?

2020-03-10
阅读 5 分钟
很多数据开发者使用bitmap技术对用户数据进行编码和压缩,然后利用bitmap的与/或/非的极速处理速度,实现类似用户画像标签的人群筛选、运营分析的7日活跃等分析。 本文给出了一个使用MaxCompute MapReduce开发一个对不同日期活跃用户ID进行bitmap编码和计算的样例。供感兴趣的用户进一步了解、分析,并应用在自己的场景下。

大数据上云第一课:MaxCompute授权和外表操作躲坑指南

2020-03-10
阅读 12 分钟
一、子账号创建、AK信息绑定 如果您是第一次使用子账号登录数加平台和使用DataWorks,需要确认以下信息: • 该子账号所属主账号的企业别名。 • 该子账号的用户名和密码。 • 该子账号的AccessKey ID和AccessKey Secret。 • 确认主账号已经允许子账号启用控制台登录。 • 确认主账号已经允许子账号自主管理AccessKey。 1、...

中邮智递通过数加和datav将系统和服务迁移到大数据平台

2020-03-10
阅读 2 分钟
云栖号案例库:【点击查看更多上云案例】 不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策! 概述 中邮智递数据平台发展到现在经历了四个阶段: (1) 直接在业务生产系统开发生成报表,提供业务部门查询 (2) 采用kettle等工具抽取各业务系统数据并处理生成报表 (3) 使用hive构建离线...

阿里风控大脑如何应用大数据来构建风控体系?

2020-03-06
阅读 7 分钟
简介: 2019年双11阿里风控保护了约388亿消费者的操作行为,同时挡住了约22亿次恶意攻击。在首席技术官大数据专享会,阿里巴巴新零售技术事业群高级数据技术专家丁明峰为大家介绍了阿里风控大脑关于大数据应用的探索与实践,即风控领域如何应用大数据来构建风控体系?并详细介绍风控架构以及链路。

阿里妈妈数据字化营销与MaxCompute的不解之缘

2020-03-06
阅读 11 分钟
摘要: 大数据计算服务(MaxCompute)是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案,目前已在阿里巴巴内部得到大规模应用。来自阿里妈妈基础平台大规模数据处理技术专家向大家分享了MaxCompute在阿里妈妈数据字化营销解决方案上的典型应用经验。首先介绍了广告数据流,分析了MaxCompute 是如何解决广告的问题;...