宜信数据中台全揭秘(一)数据中台整体介绍|分享实录

2020-06-11
阅读 3 分钟
2k
内容来源:宜信技术学院第11期技术沙龙|宜信数据中台全揭秘(一)数据中台整体介绍主讲人:宜信数据中台解决方案架构师 裴国强 PPT下载:链接: [链接] 密码: 99uh

干货|科技赋能硬核直播带货,助力宜信业绩逆势增长

2020-04-03
阅读 7 分钟
2.2k
新年伊始,新冠疫情令许多企业遭遇生存危机,而每次危机和逆境,也都会带来新的商业机会。宜信财富迎难而上,勇于尝试线上销售新“路数”——直播带货,实现业绩逆势增长。2020年2月,宜信财富实现规模业绩同比2019年2月提升24%、环比1月增长8%;新增客户数同比2019年2月增长82%、环比1月增长23%的好成绩。回顾过去一个月,...

宜信CTO向江旭:数字化是企业成为强者的底层代码

2020-03-30
阅读 2 分钟
1.3k
从2000年到现在,全球爆发了5次重大危机:2000年互联网泡沫、2001年9.11事件、2003年SARS病毒、2008年金融危机、2020年新冠疫情。危机给社会、企业和个人造成了巨大的经济损失,但同时也给优秀的公司创造机会,给适者生存的公司带来发展。数字化转型成为企业发展刚需,企业该如何在危机中寻找机会, 宜信CTO向江旭通过危...

宜信科技年货包|精选49篇干货文章+全年沙龙视频+速记+ppt

2020-01-14
阅读 2 分钟
7.3k
还有10天就要到春节了,前几天被各种年度盘点刷屏,有人感慨我哪来这么些钱,有人惊讶自己的回答竟然帮助过那么多人,有人看到了自己的“9”后真言开心地点点头,有人则回想起深夜里单曲循环的那首歌... ...数据记录着多少尘封的念想,又镌刻下多少成长的记忆,或许盘点是为了更好地上路,让一切过往都成为重新出发的力量!...

揭秘“撩”大数据的正确姿势:生动示例解说大数据“三驾马车”

2019-12-31
阅读 5 分钟
2.6k
我是我:“缘起于美丽,相识于邂逅,厮守到白头!” 众听众:“呃,难道今天是要分享如何作诗?!” 我是我:“大家不要误会,今天主要的分享不是如何作诗,而是《揭秘:‘撩’大数据的正确姿势》,下面进入正题。”

大数据可视化服务平台Davinci上榜2019年度最受欢迎中国开源软件

2019-12-24
阅读 2 分钟
2.1k
由宜信科技中心数据中台部自主研发并开源的可视化服务平台Davinci(达芬奇)入选榜单「2019 年度最受欢迎中国开源软件」,并在“企业软件”这一细分类目中位列第二。

宜信卢山巍:数据中台的“自动化数据治理”时代已来

2019-11-18
阅读 8 分钟
2.1k
中台,我理解是能力的下沉,数据处理能力下沉为加工平台,数据处理结果下沉为数据资产。那么数据治理能否下沉?可以下沉出什么东西?——宜信数据中台负责人 卢山巍

拆解大数据总线平台DBus的系统架构

2019-09-12
阅读 5 分钟
6.4k
拓展阅读:大数据总线平台DBus设计思路与工作原理 如何基于日志,同步实现数据的一致性和实时抽取? 快速部署DBus体验实时数据流计算 Dbus所支持两类数据源的实现原理与架构拆解。 大体来说,Dbus支持两类数据源: RDBMS数据源 日志类数据源 一、RMDBMS类数据源的实现 以mysql为例子. 分为三个部分: 日志抽取模块 增量转...

云端数据仓库的模式选型与建设

2019-08-29
阅读 5 分钟
2.7k
数据,对一个企业的重要性不言而喻,如何利用好企业内部数据,发挥数据的更大价值,对于企业管理者而言尤为重要。作为最传统的数据应用之一,数据仓库在企业内部扮演着重要的角色,构建并正确配置好数据仓库,对于数据分析工作至关重要。一个设计良好的数据仓库,可以让数据分析师们如鱼得水;否则可能使企业陷入无休止...

解密“CDO-首席数据官”的价值、挑战及发展

2019-08-26
阅读 4 分钟
1.9k
数据,不论形态、格式和类型,已经迅速成为企业最有战略意义的资产;数据资产已经成为了可以形成业务洞察及优势的战略资源,数据的体量、多样性和复杂性也正以指数级增长。就像其他重要的企业资产,数据需要适当的管理和治理水平, 以确保它的潜在价值得到理解和发挥。基于上述原因,近些年来产生了首席数据官-CDO这一新...

十步法原则解决数据质量问题

2019-08-21
阅读 4 分钟
3.2k
一、相关概念 1.1 数据质量 数据的一组固有属性满足数据消费者要求的程度。 1)数据固有属性 真实性:即数据是客观世界的真实反映 及时性:即数据是随着变化及时更新的 相关性:即数据是数据消费者关注和需要的 2)高质量数据满足要求(消费者角度) 可得的,当数据消费者需要时能够获取到; 及时的,当需要时,数据获得...

专访宜信张军:一切技术创新都要以赋能业务为目标

2019-08-13
阅读 4 分钟
3.1k
在软件研发从业者的视角里,创新分为两种:一种是与软件研发技术相关的创新,特别是在大数据和AI这种快速发展的领域,需要保持与技术进步的同频;而另一种创新,是与公司业务相关的,不断运用技术实现自动化、智能化、规范化,提高业务服务能力与用户体验。

关系型数据库全表扫描分片详解

2019-08-02
阅读 5 分钟
1.5k
导读:数据总线(DBus)专注于数据的实时采集与实时分发,可以对IT系统在业务流程中产生的数据进行汇聚,经过转换处理后成为统一JSON的数据格式(UMS),提供给不同数据使用方订阅和消费,充当数仓平台、大数据分析平台、实时报表和实时营销等业务的数据源。

大数据可视洞察Davinci的安装与配置攻略

2019-07-30
阅读 5 分钟
3k
Davinci既可作为公有云/私有云独立使用,也可作为可视化插件集成到三方系统。用户只需在可视化UI上简单配置即可服务多种数据可视化应用,并支持高级交互/行业分析/模式探索/社交智能等可视化功能。

快速部署DBus体验实时数据流计算

2019-07-25
阅读 11 分钟
2.8k
说明all in one是一个单机版本dbus环境,是给用户快速体验dbus的功能,只是一个简单体验版,不能用于其它环境或者用途,具体包括如下:

DBus数据库表结构变更处理方案

2019-07-25
阅读 3 分钟
1.7k
导读:DBus是我们要介绍的在敏捷大数据(Agile BigData)背景下的第一个平台。企业中大量业务数据保存在各个业务系统数据库中,为同时解决数据同步的一致性和实时性问题,DBus(数据总线)平台应运而生。

专访宜信AI中台团队负责人王东:智慧金融时代,大数据和AI如何为业务赋能

2019-07-23
阅读 8 分钟
8.1k
第一期专访我们邀请到宜信科技中心AI中台负责人王东老师,从大数据和AI赋能金融业务的角度,分享了中台、大数据、AI等软件研发趋势为业务赋能的经验与思路。

如何基于日志,同步实现数据的一致性和实时抽取?

2019-07-17
阅读 9 分钟
3.3k
一、背景 事情是从公司前段时间的需求说起,大家知道宜信是一家金融科技公司,我们的很多数据与标准互联网企业不同,大致来说就是: 玩数据的人都知道数据是非常有价值的,然后这些数据是保存在各个系统的数据库中,如何让需要数据的使用方得到一致性、实时的数据呢? 过去的通用做法有几种,分别是: DBA开放各个系统的...

大数据总线平台DBus设计思路与工作原理

2019-07-17
阅读 3 分钟
3.2k
一、背景 企业中大量业务数据保存在各个业务系统数据库中,过去通常的同步数据的方法有很多种,比如: 各个数据使用方在业务低峰期各种抽取所需数据(缺点是存在重复抽取而且数据不一致) 由统一的数仓平台通过sqoop到各个系统中抽取数据(缺点是sqoop抽取方法时效性差,一般都是T+1的时效性) 基于trigger或时间戳的方...

宜信开源|大数据虚拟混算平台Moonbox配置指南

2019-07-10
阅读 4 分钟
2.7k
一、环境准备 已安装Apache Spark 2.2.0(此版本仅支持Apache Spark 2.2.0, 其他Spark 版本后续会兼容) 已安装MySQL并启动,且开启远程访问 各安装节点已经配置ssh免密登录 二、下载 moonbox-0.3.0-beta下载:[链接] 三、解压 {代码...} 四、修改配置文件 配置文件位于conf目录下 step 1: 修改slaves {代码...} 将会看到如...

Wormhole大数据流式处理平台五大功能

2019-07-08
阅读 4 分钟
2.2k
导读:在上一篇文章「Wormhole 大数据流式处理平台之设计思想」中,我们介绍了Wormhole的设计思想,并给出了Stream、UMS、Flow、Namespace等相关概念的具体定义,从文章中我们得知,Wormhole作为实时流式处理平台,其设计思想最终是为流上处理数据而服务的。在本文中,我们主要从Wormhole的功能设计入手,重点介绍Wormho...

Moonbox计算服务平台架构功能与应用场景

2019-07-08
阅读 4 分钟
1.8k
导读:业务系统或者日志系统产生了大量的原始数据,我们根据业务场景需求将数据保存到不同的存储中。然而,数据只有通过整合、加工、计算,才能提取出其潜在的信息,让数据变为资产,从而实现数据的价值。Moonbox就是这样一款计算服务平台,在敏捷大数据(Agile BigData)理论的指导下,围绕“计算服务化”和“数据虚拟化”...

宜信开源|Wormhole 大数据流式处理平台之设计思想

2019-06-28
阅读 4 分钟
3.4k
导读:互联网的迅猛发展使得数据不再昂贵,而如何从数据中更快速获取价值变得日益重要,因此,数据实时化成为了一个大趋势。越来越多的业务场景需要实时分析,以极低的延迟来分析实时数据并给出分析结果,从而提高业务效率,带来更高价值。流式处理作为实时处理的一种重要手段,正在因数据实时化的发展而蓬勃发展。本文...

如何设计实时数据平台(技术篇)

2019-06-21
阅读 10 分钟
8.6k
敏捷之歌我抽数故我存在 | DBus 人人玩转流处理 | Wormhole 就当吾是数据库 | Moonbox 颜值最后十公里 | Davinci

如何设计实时数据平台(设计篇)

2019-06-20
阅读 7 分钟
2.5k
导读:本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论,即“实时数据平台”。在上篇设计篇中,我们首先从两个维度介绍实时数据平台:从现代数仓架构角度看待实时数据平台,从典型数据处理角度看待实时数据处理;接着我们会探讨实时数据平台整体设计架构、对具体问题的考量以及解决思路。在下篇技术篇中...

以企业级实时数据平台为例,了解何为敏捷大数据

2019-06-20
阅读 2 分钟
2.5k
敏捷大数据,即在敏捷理念原则指导下,构建出一系列通用平台工具,和一整套大数据应用全生命周期方法学,以支撑更轻量、更灵活、更低门槛的大数据实践。本文从理论层面整体解释我们所理解的“敏捷大数据”。

宜人贷PaaS数据服务平台Genie:技术架构及功能

2019-06-17
阅读 9 分钟
2.1k
随着数据时代的到来,数据量和数据复杂度的增加推动了数据工程领域的快速发展。为了满足各类数据获取/计算等需求,业内涌现出了诸多解决方案。但大部分方案都遵循以下原则:

企业安全建设进阶

2019-06-14
阅读 7 分钟
3.7k
安全是个“无底洞”,没有一个企业的安全负责人会说自己的系统是百分百安全的,安全也不是特别好衡量和量化,尤其是定量地评估出谁比谁做得好、好多少。有时候也会反思,或者说迷茫,“上了那么多防护手段、到底能不能经得起对抗?”,“安全自研产品做了半年、用了半年、然后有一天它被废弃掉了”,“SDL喊了好几年了,怎么就...

【流沙】宜信安全数据平台实践

2019-06-13
阅读 4 分钟
3.2k
导读:宜信结合自己的实际情况,实现了一套集采集、分析和存储为一体的安全数据平台——流沙平台。本文重点介绍一下流沙平台的架构,相比于OpenSOC做了哪些优化及改进的地方以及流沙平台在落地过程中的经验总结。

何为敏捷大数据与敏捷AI?

2019-06-05
阅读 4 分钟
2.9k
摘要:敏捷大数据智能化的主要目标就是,结合敏捷大数据实施理念,研发灵活的、轻量化的智能模型,并在敏捷大数据平台上对数据流进行实时智能化处理,最终实现一站式的大数据智能分析实践。