如何快速部署容器化应用

2019-10-29
阅读 5 分钟
5.5k
摘要:容器化推行的过程中,研发、运维学习及使用成本都非常高,那有没有一款简单易用的平台呢?本文介绍基于Kubernetes的应用管理平台-开普勒云平台。

调用链系列(2):轻调用链实现

2019-08-15
阅读 3 分钟
1.2k
上篇文章分享了一下调用链的模型设计及模型时序图。相信大家通过上一篇文章对调用链有了一个整体上的了解,如:调用链是什么、能做什么及整体实现策略。

微服务与网关技术(SIA-GateWay)

2019-08-12
阅读 6 分钟
2.6k
把时间退回到二十年之前,当时企业级领域研发主要推崇的还是C/S模式,PB、Delphi这样的开发软件是企业应用开发的主流。随着时间的推移,基于浏览器的B/S架构开始渐渐流行了起来。初期,Web开发ASP还占据了不少优势,但JSP的预编译模式让性能有了很大提升,随后基于JAVA语言的J2EE架构变得越来越流行。

关系型数据库全表扫描分片详解

2019-08-02
阅读 5 分钟
1.5k
导读:数据总线(DBus)专注于数据的实时采集与实时分发,可以对IT系统在业务流程中产生的数据进行汇聚,经过转换处理后成为统一JSON的数据格式(UMS),提供给不同数据使用方订阅和消费,充当数仓平台、大数据分析平台、实时报表和实时营销等业务的数据源。

基于可视化配置的日志结构化转换实现

2019-07-31
阅读 6 分钟
5.1k
导读:数据总线DBus的总体架构中主要包括六大模块,分别是:日志抓取模块、增量转换模块、全量抽取程序、日志算子处理模块、心跳监控模块、Web管理模块。六大模块各自的功能相互连接,构成DBus的工作原理:通过读取RDBMS增量日志的方式来实时获取增量数据日志(支持全量拉取);基于Logstash,flume,filebeat等抓取工具...

大数据可视洞察Davinci的安装与配置攻略

2019-07-30
阅读 5 分钟
3k
Davinci既可作为公有云/私有云独立使用,也可作为可视化插件集成到三方系统。用户只需在可视化UI上简单配置即可服务多种数据可视化应用,并支持高级交互/行业分析/模式探索/社交智能等可视化功能。

快速部署DBus体验实时数据流计算

2019-07-25
阅读 11 分钟
2.8k
说明all in one是一个单机版本dbus环境,是给用户快速体验dbus的功能,只是一个简单体验版,不能用于其它环境或者用途,具体包括如下:

DBus数据库表结构变更处理方案

2019-07-25
阅读 3 分钟
1.7k
导读:DBus是我们要介绍的在敏捷大数据(Agile BigData)背景下的第一个平台。企业中大量业务数据保存在各个业务系统数据库中,为同时解决数据同步的一致性和实时性问题,DBus(数据总线)平台应运而生。

如何基于日志,同步实现数据的一致性和实时抽取?

2019-07-17
阅读 9 分钟
3.3k
一、背景 事情是从公司前段时间的需求说起,大家知道宜信是一家金融科技公司,我们的很多数据与标准互联网企业不同,大致来说就是: 玩数据的人都知道数据是非常有价值的,然后这些数据是保存在各个系统的数据库中,如何让需要数据的使用方得到一致性、实时的数据呢? 过去的通用做法有几种,分别是: DBA开放各个系统的...

宜信开源|大数据虚拟混算平台Moonbox配置指南

2019-07-10
阅读 4 分钟
2.7k
一、环境准备 已安装Apache Spark 2.2.0(此版本仅支持Apache Spark 2.2.0, 其他Spark 版本后续会兼容) 已安装MySQL并启动,且开启远程访问 各安装节点已经配置ssh免密登录 二、下载 moonbox-0.3.0-beta下载:[链接] 三、解压 {代码...} 四、修改配置文件 配置文件位于conf目录下 step 1: 修改slaves {代码...} 将会看到如...

宜信开源|漏洞管理平台『洞察』的设计理念和平台功能

2019-07-10
阅读 2 分钟
3.3k
一、导语 『洞察』是宜信安全部开发,集成应用系统资产管理、漏洞全生命周期管理、安全知识库管理三位一体的管理平台。 应用系统资产管理:对公司应用系统资产进行管理,包括系统名称、域名、重要级别、部门、负责人等。 漏洞生命周期管理:对公司应用系统产生的安全漏洞进行线上提交、通告、知悉、复测、分类、风险计算...

Wormhole大数据流式处理平台五大功能

2019-07-08
阅读 4 分钟
2.2k
导读:在上一篇文章「Wormhole 大数据流式处理平台之设计思想」中,我们介绍了Wormhole的设计思想,并给出了Stream、UMS、Flow、Namespace等相关概念的具体定义,从文章中我们得知,Wormhole作为实时流式处理平台,其设计思想最终是为流上处理数据而服务的。在本文中,我们主要从Wormhole的功能设计入手,重点介绍Wormho...

Moonbox计算服务平台架构功能与应用场景

2019-07-08
阅读 4 分钟
1.8k
导读:业务系统或者日志系统产生了大量的原始数据,我们根据业务场景需求将数据保存到不同的存储中。然而,数据只有通过整合、加工、计算,才能提取出其潜在的信息,让数据变为资产,从而实现数据的价值。Moonbox就是这样一款计算服务平台,在敏捷大数据(Agile BigData)理论的指导下,围绕“计算服务化”和“数据虚拟化”...

宜信开源|Davinci:可视应用平台介绍与展望

2019-07-01
阅读 4 分钟
11.9k
导读:通过图形化手段清晰地传达数据,促进信息的传递与沟通,是数据可视化的基础要素,也是设计美学和功能相结合的具体表现形式。Davinci便是这样一款可视应用平台。在敏捷大数据(Agile BigData)理论的背景下,围绕“数据视图”和“可视组件”两个核心概念设计,支持多种可视化功能。Davinci具体的设计理念和功能特点都有...

宜信开源|Wormhole 大数据流式处理平台之设计思想

2019-06-28
阅读 4 分钟
3.4k
导读:互联网的迅猛发展使得数据不再昂贵,而如何从数据中更快速获取价值变得日益重要,因此,数据实时化成为了一个大趋势。越来越多的业务场景需要实时分析,以极低的延迟来分析实时数据并给出分析结果,从而提高业务效率,带来更高价值。流式处理作为实时处理的一种重要手段,正在因数据实时化的发展而蓬勃发展。本文...

宜信开源|微服务任务调度平台SIA-TASK入手实践

2019-06-18
阅读 5 分钟
1.3k
最近宜信开源微服务任务调度平台SIA-TASK,SIA-TASK属于分布式的任务调度平台,使用起来简单方便,非常容易入手,部署搭建好SIA-TASK任务调度平台之后,编写TASK后配置JOB进行调度,进而实现整个调度流程。本文新建了JOB示例,该JOB关联了前后级联的两个TASK,TASKONE(前置TASK)和TASKTWO(后置TASK),主要阐述一个JOB怎...

宜信开源|分布式任务调度平台SIA-TASK的架构设计与运行流程

2019-06-04
阅读 10 分钟
7.1k
无论是互联网应用或者企业级应用,都充斥着大量的批处理任务。我们常常需要一些任务调度系统来帮助解决问题。随着微服务化架构的逐步演进,单体架构逐渐演变为分布式、微服务架构。在此背景下,很多原先的任务调度平台已经不能满足业务系统的需求,于是出现了一些基于分布式的任务调度平台。

宜信开源|(功能上新)UAVStack服务治理之流量控制

2019-06-03
阅读 3 分钟
1.9k
当前常用的流量控制方案主要有基于Spring Cloud的Hystrix和阿里开源的Sentinel应用流量控制降级方案。客观而言,两个方案都是侵入式的,要求用户在应用中引入相关包,编写相关逻辑。

宜信开源|手把手教你安装第一个LAIN应用

2019-05-31
阅读 11 分钟
1.6k
拓展阅读:宜信开源|详解PaaS平台LAIN的功能和架构 宜信开源|一个实例解析PaaS平台LAIN的9大杀手级功能 一、安装 LAIN 集群 本节包含三种场景下安装LAIN集群 本地启动虚拟机安装LAIN集群,可供本地测试开发 物理服务器/虚拟机安装LAIN集群 云服务器安装LAIN集群 三者都需要从 GitHub 获取已经发布的 LAIN 版本源代码:[链...

数据中台:宜信敏捷数据中台建设实践|分享实录

2019-05-28
阅读 18 分钟
2.8k
导读:宜信于2017年推出了一系列大数据开源工具,包括大家熟悉的DBus、Wormhole、Moonbox、Davinci等,在技术社区内得到了广泛关注和好评。这些工具是如何在宜信内部应用的?它们和宜信数据中台是怎样的关系?又是如何驱动各种日常数据业务场景的?本次分享对这些问题进行了回答,同时重点分享了宜信敏捷数据中台的设计...

宜信开源|详解PaaS平台LAIN的功能和架构

2019-05-23
阅读 5 分钟
2.7k
LAIN是宜信公司大数据创新中心开发的开源PaaS平台。在金融的场景下,LAIN 是为解放各个团队和业务线的生产力而设计的一个云平台。LAIN 为宜信大数据创新中心各个团队提供了统一的测试和生产环境,简化了服务的部署与上线流程,也降低了运维人员对系统管理的复杂度。

宜信开源|一个实例解析PaaS平台LAIN的9大杀手级功能

2019-05-23
阅读 4 分钟
1.6k
在金融的场景下,LAIN 是为解放各个团队和业务线的生产力而设计的一个云平台。LAIN 正式上线已经大约两年,基本已经成熟,为宜信大数据创新中心各个团队提供了统一的测试和生产环境,简化了服务的部署与上线流程,也降低了运维人员对系统管理的复杂度。

开源|性能优化利器:数据库审核平台Themis的选型与实践

2019-05-14
阅读 13 分钟
4.5k
首先是运维规模与人力资源之间的矛盾。从我们的情况来看,运维了包括Oracle、MySQL、MongoDB、Redis四类数据库,数据库规模几十套,支持公司千余名开发人员及上百套业务系统。也许有的朋友会问,从运维规模上看,并不是很大。

【宜信开源】Moonbox_v0.3_beta重大发布 ,Grid全新重构,更快更解耦

2019-04-23
阅读 3 分钟
2.1k
导读:数据虚拟化思想一直以来都是敏捷大数据团队十分关注的一个点,Moonbox则以此为基础而设计,致力于提供批量计算服务解决方案。今天,Moonbox惊喜发布0.3beta版(回顾v0.2请戳这里:#Moonbox# 计算服务平台简介),阅读全文,了解Moonbox,跟小编一起看0.3版本的神奇之处在哪里吧~

开源|ns4_chatbot通信组件的工作原理

2019-04-22
阅读 4 分钟
2.9k
导语:宜信于2019年3月29日正式开源nextsystem4(以下简称“NS4”)系列模块。此次开源的NS4系列模块是围绕当前支付系统笨重、代码耦合度高、维护成本高而产生的分布式业务系统解决方案。NS4系列框架允许创建复杂的流程/业务流,对于业务服务节点的实现可串联,可分布式。其精简、轻量,实现了“脱容器”(不依赖tomcat、jet...

开源|为什么要使用ns4_gear_idgen ID生成器?

2019-04-19
阅读 4 分钟
1.1k
导语:宜信于2019年3月29日正式开源nextsystem4(以下简称“NS4”)系列模块。此次开源的NS4系列模块是围绕当前支付系统笨重、代码耦合度高、维护成本高而产生的分布式业务系统解决方案。NS4系列框架允许创建复杂的流程/业务流,对于业务服务节点的实现可串联,可分布式。其精简、轻量,实现了“脱容器”(不依赖tomcat、jet...