原理解析 | 深入了解 Apache Flink 的网络协议栈

2019-06-26
阅读 9 分钟
Flink 的网络协议栈是组成 flink-runtime 模块的核心组件之一,是每个 Flink 作业的核心。它连接所有 TaskManager 的各个子任务(Subtask),因此,对于 Flink 作业的性能包括吞吐与延迟都至关重要。与 TaskManager 和 JobManager 之间通过基于 Akka 的 RPC 通信的控制通道不同,TaskManager 之间的网络协议栈依赖于更加底...

Express 的使用

2019-06-26
阅读 19 分钟
以下内容,基于 Express 4.x 版本 Node.js 的 Express Express 估计是那种你第一次接触,就会喜欢上用它的框架。因为它真的非常简单,直接。 在当前版本上,一共才这么几个文件: {代码...} 这种程度,说它是一个“框架”可能都有些过了,几乎都是工具性质的实现,只限于 Web 层。 当然,直接了当地实现了 Web 层的基本功...

阿里开源!云原生应用自动化引擎 OpenKruise | 直击 KubeCon

2019-06-26
阅读 4 分钟
阿里妹导读:在近期开展的 KubeCon China 2019 上,阿里云将陆续为全球用户分享阿里巴巴超大规模云原生落地实践、云原生前沿技术与应用包括 OpenKruise 开源项目、开放云原生应用中心(Cloud Native App Hub),同时将重磅发布边缘容器、云原生应用管理与交付体系等产品和服务。接下来的三天,阿里妹将连线会场,为你带...

云上的Growth hacking之路,打造产品的增长引擎

2019-06-25
阅读 3 分钟
增长!增长!增长!业务增长是每一个创业者每天面临的最大问题。无论你的产品是APP,还是web,或者是小程序,只能不断的维持用户的增长,才能向资本市场讲出一个好故事,融资活下去。活到最后的产品,才有机会盈利。

AutoScaling 成本优化模式升级--混合实例策略

2019-06-25
阅读 5 分钟
伸缩组成本优化模式以成本为目标,始终创建最低价的实例,同时,通过多可用区,多实例规格分布,以此来提高服务稳定性。但是,对于成本优势最大化的竞价实例,伸缩组难以防范竞价实例大范围回收可能导致的服务雪崩,本次升级允许用户制定更详细的成本控制策略,在成本和稳定性之间进行调整和权衡。

AnalyticDB for PG 如何作为数据源对接帆软 FineBI

2019-06-25
阅读 1 分钟
AnalyticDB for PostgreSQL 基于开源数据库 Greenplum 构建,兼容Greenplum 和 PostgreSQL 的语法,接口和生态。本章节介绍如何通过FineBI连接 分析型数据库PostgreSQL版 并进行报表开发。

支付宝玉伯:从前端到体验,如何把格局做大

2019-06-25
阅读 4 分钟
国内的前端行业,是一个群星璀璨,同时又有些纷纷扰扰的圈子。很多初出茅庐的年轻人怀着改变世界的梦想,谁也不服谁。不过,有一些为前端领域做出贡献的拓荒者几乎受到所有人的尊敬,玉伯就是这些拓荒者中的一员。

一条数据的漫游奇遇记

2019-06-25
阅读 8 分钟
阿里妹导读:数据库存储引擎是一个有历史的技术,经过数十年的发展,已经出现很多优秀成熟的产品。阿里巴巴 X-Engine 团队撰写的论文 "X-Engine: An Optimized Storage Engine for Large-scale E-Commerce Transaction Processing",详细讲述了团队在数据库存储引擎上所做的原创性工作,今年早些时候已经被 SIGMOD'19 In...

IoT SaaS加速器——助力阿尔茨海默病人护理

2019-06-24
阅读 21 分钟
阿尔茨海默病,是导致中老年人认知功能障碍的最常见疾病之一,是发生在老年期及老年前期的一种原发性退行性脑病。据估计,全世界痴呆症患者数量为4700万,到2030年将达到7500万人。痴呆症患者数量到2050年预计将是现在的近三倍。疾病的高昂费用给卫生系统应对未来预计不断增加的病例构成挑战。据估计,目前每年的支出为8...

如何使用curl访问k8s的apiserver

2019-06-24
阅读 4 分钟
使用TOKEN授权访问api-server在k8s运维场景中比较常见, apiserver有三种级别的客户端认证方式 1,HTTPS证书认证:基于CA根证书签名的双向数字证书认证方式 2,HTTP Token认证:通过一个Token来识别合法用户 3,HTTP Base认证:通过用户名+密码的认证方式 通常的运维场景使用第二种Token较为方便Token的权限是关联servic...

MySQL单表数据不要超过500万行:是经验数值,还是黄金铁律?

2019-06-24
阅读 2 分钟
今天,探讨一个有趣的话题:MySQL 单表数据达到多少时才需要考虑分库分表?有人说 2000 万行,也有人说 500 万行。那么,你觉得这个数值多少才合适呢?

MongoDB 4.2 新特性解读

2019-06-24
阅读 6 分钟
基于飞天分布式系统和高性能存储,提供三节点副本集的高可用架构,容灾切换,故障迁移完全透明化。并提供专业的数据库在线扩容、备份回滚、性能优化等解决方案。

使用NGINX作为HTTPS正向代理服务器

2019-06-24
阅读 10 分钟
NGINX主要设计作为反向代理服务器,但随着NGINX的发展,它同样能作为正向代理的选项之一。正向代理本身并不复杂,而如何代理加密的HTTPS流量是正向代理需要解决的主要问题。本文将介绍利用NGINX来正向代理HTTPS流量两种方案,及其使用场景和主要问题。

Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

2019-06-21
阅读 5 分钟
文章目录: Apache Flink 应用程序中的 Exactly-Once 语义 Flink 应用程序端到端的 Exactly-Once 语义 示例 Flink 应用程序启动预提交阶段 在 Flink 中实现两阶段提交 Operator 总结 Apache Flink 自2017年12月发布的1.4.0版本开始,为流计算引入了一个重要的里程碑特性:TwoPhaseCommitSinkFunction(相关的Jira)。它...

Flink 零基础实战教程:如何计算实时热门商品

2019-06-21
阅读 9 分钟
在上一篇入门教程中,我们已经能够快速构建一个基础的 Flink 程序了。本文会一步步地带领你实现一个更复杂的 Flink 应用程序:实时热门商品。在开始本文前我们建议你先实践一遍上篇文章,因为本文会沿用上文的my-flink-project项目框架。

同学,要不要来挑战双11零点流量洪峰?

2019-06-21
阅读 4 分钟
阿里妹导读:双十一的零点,整个电商系统的请求速率到达峰值。如果将这些请求流量只分配给少部分 server,这些机器接收到的请求速率会远超过处理速率,新来的任务来不及处理,就会产生请求任务堆积。今年的中间件性能挑战赛就围绕“挑战双11零点流量洪峰”展开。自2015年开始,中间件性能挑战赛已经成功举办了四届,被历年...

揭秘|每秒千万级的实时数据处理是怎么实现的?

2019-06-21
阅读 5 分钟
闲鱼目前实际生产部署环境越来越复杂,横向依赖各种服务盘宗错节,纵向依赖的运行环境也越来越复杂。当服务出现问题的时候,能否及时在海量的数据中定位到问题根因,成为考验闲鱼服务能力的一个严峻挑战。

从 Spark Streaming 到 Apache Flink : 实时数据流在爱奇艺的演进

2019-06-21
阅读 7 分钟
本文将为大家介绍Apache Flink在爱奇艺的生产与实践过程。你可以借此了解到爱奇艺引入Apache Flink的背景与挑战,以及平台构建化流程。主要内容如下: 爱奇艺在实时计算方面的的演化和遇到的一些挑战 爱奇艺使用Flink的User Case 爱奇艺Flink平台化构建流程 爱奇艺在Flink上的改进 未来工作

容器服务Windows Kubernetes使用阿里云日志服务来收集容器日志

2019-06-20
阅读 3 分钟
目前,容器服务Windows Kubernetes支持将业务容器产生的stdout输出、日志文件同步到阿里云日志服务(SLS)进行统一管理。

借助 Cloud Toolkit 快速创建 Dubbo 工程

2019-06-20
阅读 2 分钟
Cloud Toolkit 是一个 IDE 插件,帮助开发者更高效地开发、测试、诊断并部署应用。在最新版的插件中,提供了快速创建 Dubbo 工程的功能,下面就来快速体验下吧。

DLA SQL技巧:行、列转换和JSON数据列展开

2019-06-20
阅读 8 分钟
在数据库SQL处理中,常常有行转列(Pivot)和列转行(Unpivot)的数据处理需求。本文以示例说明在Data Lake Analytics([链接])中,如何使用SQL的一些技巧,达到行转列(Pivot)和列转行(Unpivot)的目的。另外,DLA支持函数式表达式的处理逻辑、丰富的JSON数据处理函数和UNNEST的SQL语法,结合这些功能,能够实现非常...

分布式数据库选型——数据水平拆分方案

2019-06-20
阅读 9 分钟
水平拆分的概念随着分布式数据库的推广已为大部分人熟知。分库分表、异构索引、小表广播、这些功能几乎是产品功能需求标配。然而有些客户使用分布式数据库后的体验不尽如意。本文尝试从数据的角度总结分布式数据的复制(replication)和分区(partition)技术原理和方案,其中分区也有称为分片(sharding),希望能引起...

Istio 在阿里云容器服务的部署及流量治理实践

2019-06-19
阅读 6 分钟
目标 在阿里云容器服务 Kubernetes 集群上部署 Istio 服务网格 实践灰度发布、故障注入、熔断等 Istio 流量管理特性 准备工作 安装和设置 kubectl 客户端,请参考不同的操作系统,如果已经安装请忽略: macOS {代码...} Linux {代码...} Windows 把 [链接] 放到系统PATH路径下 {代码...} 配置 kubectl 连接 Kubernetes ...

OceanBase数据库实践入门——性能测试建议

2019-06-19
阅读 9 分钟
本文主要分享针对想压测OceanBase时需要了解的一些技术原理。这些建议可以帮助用户对OceanBase做一些调优,再结合测试程序快速找到适合业务的最佳性能。由于OceanBase自身参数很多、部署形态也比较灵活,这里并没有给出具体步骤。

揭秘阿里云背后神秘而富有能量的一群人

2019-06-19
阅读 3 分钟
作为某创业公司CTO兼CTO兼CFO,带领众子弟行走于云端计算,累计犒赏已达757157.09银两,江湖人称紫龙,就是众多阿里云大使中低调内敛的一位。其话不多,一个典型的技术男,但又热心钻研传播推广,不到一年,便在众多云大使中脱颖而出,位居江湖重要地位。

十分钟上线 - 函数计算构建支付宝小程序的后端

2019-06-19
阅读 5 分钟
阿里云函数计算服务(FunctionCompute,FC)是一个事件驱动的全托管计算服务。通过函数计算与云端各个服务的广泛集成,开发者只需要编写函数代码,就能够快速地开发出弹性高可用的后端系统。接下来我们使用FC,来快速实现一个图片转换服务, 并把这个图片转换服务作为支付宝小程序的后端。

重磅开源|AOP for Flutter开发利器——AspectD

2019-06-19
阅读 8 分钟
随着Flutter这一框架的快速发展,有越来越多的业务开始使用Flutter来重构或新建其产品。但在我们的实践过程中发现,一方面Flutter开发效率高,性能优异,跨平台表现好,另一方面Flutter也面临着插件,基础能力,底层框架缺失或者不完善等问题。

时延敏感业务低概率超时问题分析

2019-06-18
阅读 5 分钟
作为阿里云底层提供的基础设施,内部的物理网络和许多网络产品在数据平面给客户的可操作性并不高,从一定程度上来说是个黑盒。当然,在传统的IDC环境,业务和物理网络之间也存在同样的隔阂。所以在遇到业务卡顿、延迟、不通等问题的时候,很容易怀疑到网络。因此如何抽丝拨茧,找到正确的方向对症下药才能够真正的解决问...

HSF/Dubbo序列化时的LocalDateTime, Instant的性能问题

2019-06-18
阅读 4 分钟
在对Dubbo新版本做性能压测时,无意中发现对用例中某个TO(Transfer Object)类的一属性字段稍作修改,由Date变成LocalDateTime,结果是吞吐量由近5w变成了2w,RT由9ms升指90ms。

云上快速搭建Serverless AI实验室

2019-06-18
阅读 2 分钟
Serverless Kubernetes和ACK虚拟节点都已基于ECI提供GPU容器实例功能,让用户在云上低成本快速搭建serverless AI实验室,用户无需维护服务器和GPU基础运行环境,极大降低AI平台运维的负担,显著提升整体计算效率。