大数据总线平台DBus设计思路与工作原理

2019-07-17
阅读 3 分钟
3.2k
一、背景 企业中大量业务数据保存在各个业务系统数据库中,过去通常的同步数据的方法有很多种,比如: 各个数据使用方在业务低峰期各种抽取所需数据(缺点是存在重复抽取而且数据不一致) 由统一的数仓平台通过sqoop到各个系统中抽取数据(缺点是sqoop抽取方法时效性差,一般都是T+1的时效性) 基于trigger或时间戳的方...

实例解说AngularJS在自动化测试中的应用

2019-07-16
阅读 4 分钟
1.7k
7月25日晚8点,线上直播,【AI中台——智能聊天机器人平台】,点击了解详情。 一、什么是AngularJS ? 1、AngularJS是一组用来开发web页面的框架、模板以及数据绑定和丰富UI的组件; 2、AngularJS提供了一系列健壮的功能,以及将代码隔离成模块的方法; 3、AngularJS于2009年发布第一个版本,由Google进行维护,压缩版94k。...

宜信开源|漏洞管理平台『洞察』部署指南

2019-07-15
阅读 4 分钟
4.4k
『洞察』是一个集成应用系统资产管理、漏洞全生命周期管理、安全知识库管理三位一体的管理平台。 『洞察』使用了Python语言进行开发,利用Flask框架+MySQL+Docker部署实现。 一、部署和启动mysql {代码...} 二、创建数据库和账号权限配置 {代码...} 三、部署和启动APP 1、下载源码 {代码...} 2、修改srcpm/config.py 配...

宜信开源|UAV心跳机制与容器、进程数据采集

2019-07-12
阅读 4 分钟
1.7k
服务心跳机制主要用于确认服务的存活状态,UAVStack的心跳数据还负责上报节点的容器及进程监控数据,支持在前端实时查看应用容器和进程的运行状态,并根据这些数据对容器和进程做出预警。

你真的了解“SQL”吗?《SQL优化最佳实践》作者带你重新了解SQL

2019-07-11
阅读 10 分钟
2.7k
说它“熟悉”,是因为它是DBA和广大开发人员,操作数据库的主要手段,几乎每天都在使用。说它“陌生”,是很多人只是简单的使用它,至于它是怎么工作的?如何才能让它更高效的工作?却从来没有考虑过。

宜信开源|大数据虚拟混算平台Moonbox配置指南

2019-07-10
阅读 4 分钟
2.7k
一、环境准备 已安装Apache Spark 2.2.0(此版本仅支持Apache Spark 2.2.0, 其他Spark 版本后续会兼容) 已安装MySQL并启动,且开启远程访问 各安装节点已经配置ssh免密登录 二、下载 moonbox-0.3.0-beta下载:[链接] 三、解压 {代码...} 四、修改配置文件 配置文件位于conf目录下 step 1: 修改slaves {代码...} 将会看到如...

宜信开源|漏洞管理平台『洞察』的设计理念和平台功能

2019-07-10
阅读 2 分钟
3.3k
一、导语 『洞察』是宜信安全部开发,集成应用系统资产管理、漏洞全生命周期管理、安全知识库管理三位一体的管理平台。 应用系统资产管理:对公司应用系统资产进行管理,包括系统名称、域名、重要级别、部门、负责人等。 漏洞生命周期管理:对公司应用系统产生的安全漏洞进行线上提交、通告、知悉、复测、分类、风险计算...

分布式主动感知在智能运维中的实践|分享实录

2019-07-09
阅读 10 分钟
4.1k
导读:企业数字化使得运维智能化转型成为必然,宜信积极推动 AIOps 在科技金融企业的落地实践。本次主题是探索 AIOps 落地的一种形式:通过行为采集、仿真模拟、主动感知等手段,从用户侧真实系统使用体验出发,结合全维监控数据,更加有效的实现智能异常检测和根因分析。

如何跳出“假想观众”误区,做一场精彩的技术演讲

2019-07-09
阅读 5 分钟
1.5k
近期给孩子学校做科普宣讲,效果不错,孩子们很喜欢。回想近些年来,自己大大小小也进行了上百次的演讲。有公司内部的分享,也有外部的技术沙龙和技术大会;有线上直播式的,也有线下互动式的;有面对十余人的,也有面对数百人的。作为IT从业者,很多人比较内向,不太善于、甚至是惧怕演讲,我也经历了从最开始的内心畏...

Wormhole大数据流式处理平台五大功能

2019-07-08
阅读 4 分钟
2.2k
导读:在上一篇文章「Wormhole 大数据流式处理平台之设计思想」中,我们介绍了Wormhole的设计思想,并给出了Stream、UMS、Flow、Namespace等相关概念的具体定义,从文章中我们得知,Wormhole作为实时流式处理平台,其设计思想最终是为流上处理数据而服务的。在本文中,我们主要从Wormhole的功能设计入手,重点介绍Wormho...

Moonbox计算服务平台架构功能与应用场景

2019-07-08
阅读 4 分钟
1.8k
导读:业务系统或者日志系统产生了大量的原始数据,我们根据业务场景需求将数据保存到不同的存储中。然而,数据只有通过整合、加工、计算,才能提取出其潜在的信息,让数据变为资产,从而实现数据的价值。Moonbox就是这样一款计算服务平台,在敏捷大数据(Agile BigData)理论的指导下,围绕“计算服务化”和“数据虚拟化”...

通过自研数据库画像工具支持“去O”数据库评估

2019-07-04
阅读 4 分钟
2k
“去O”,是近些年来一直很火的一个话题,随之也产生了各种疑惑,包括现有数据库评估、技术选型等。去O是项系统工程,需要做好充分的评估。本文通过自研工具,生成数据库画像,为去O评估提供一手数据,希望给大家带来借鉴。

理论+实践解析“IT治理”之模式与原则

2019-07-04
阅读 4 分钟
1.3k
在企业信息化建设中的最大问题,往往不是技术问题,也不是资金问题,而是缺乏科学的IT管理观念。IT领导者最大的问题不是缺少经验和能力,而是缺乏卓越的管理素质和管理方法。正因为如此,才引入了"IT治理"这个概念。从定义上讲,IT治理,是指设计并实施信息化过程中,各方利益最大化的制度安排。其目的是实现组织的业务...

DBA职业发展之路:去“IOE”等挑战之下,DBA将何去何从?

2019-07-03
阅读 5 分钟
2.7k
随着近些年来,开源、自动化、云化的兴起,DBA职业也正悄然发生一些变化。经常有朋友咨询我,职业发展规划;特别是近期Oracle的大幅裁员之后,针对DBA这一职业未来该如何发展?本文是个人对此问题的一些看法,仅供各位参考!

自动化测试最佳实践(一):从纺锤模型到金字塔模型

2019-07-02
阅读 4 分钟
1.2k
开篇我们先简要介绍一些近几年在企业开发中出现的重要概念,以便引入持续测试的主旨。这些概念中最重要的两个便是DevOps和微服务。两者都是目前软件开发中的最佳实践和方法论,旨在为企业提供更高的灵活性,提升运营效率。

宜信开源|Davinci:可视应用平台介绍与展望

2019-07-01
阅读 4 分钟
12k
导读:通过图形化手段清晰地传达数据,促进信息的传递与沟通,是数据可视化的基础要素,也是设计美学和功能相结合的具体表现形式。Davinci便是这样一款可视应用平台。在敏捷大数据(Agile BigData)理论的背景下,围绕“数据视图”和“可视组件”两个核心概念设计,支持多种可视化功能。Davinci具体的设计理念和功能特点都有...

宜信开源|Wormhole 大数据流式处理平台之设计思想

2019-06-28
阅读 4 分钟
3.4k
导读:互联网的迅猛发展使得数据不再昂贵,而如何从数据中更快速获取价值变得日益重要,因此,数据实时化成为了一个大趋势。越来越多的业务场景需要实时分析,以极低的延迟来分析实时数据并给出分析结果,从而提高业务效率,带来更高价值。流式处理作为实时处理的一种重要手段,正在因数据实时化的发展而蓬勃发展。本文...

解DBA之惑:数据库承载能力评估及优化手段

2019-06-27
阅读 5 分钟
1.6k
作为DBA,有时会被挑战类似这样的问题: 如果现有业务规模增加10倍、100倍,数据库是否能够支撑? 下个月我们搞大促,数据库这边没问题吧? 计划进行去O工作,代码逻辑不变,数据库从Oracle切换到MySQL,MySQL能支撑业务吗? 服务器采购选型,到底哪款服务器更适合我们呢? 面对诸如上面的这些质疑,DBA应该如何面对? ...

SpringCloud微服务架构升级总结

2019-06-26
阅读 7 分钟
2.3k
起源:微服务的概念源于 2014 年 3 月 Martin Fowler 所写的一篇文章“Microservices”。文中内容提到:微服务架构是一种架构模式,它提倡将单一应用程序划分成一组小的服务,服务之间互相协调、互相配合,为用户提供最终价值。

指尖前端重构(React)技术调研分析

2019-06-26
阅读 5 分钟
3.3k
React社区有强大活力与创新能力,不断涌现革命性的创新产品,其中包括可以使用JS操作原生控件的React Native,Vue后来跟进学习出了类似的Weex,但两者成熟度差很多。

简洁方便的集合处理——Java 8 stream流

2019-06-25
阅读 8 分钟
10.5k
java 8已经发行好几年了,前段时间java 12也已经问世,但平时的工作中,很多项目的环境还停留在java1.7中。而且java8的很多新特性都是革命性的,比如各种集合的优化、lambda表达式等,所以我们还是要去了解java8的魅力。

大量文件名记录的树形结构存储

2019-06-24
阅读 5 分钟
1.3k
十多年来,NAS中已经存在的目录和文件达到10亿之多,在设计和开发备份系统的过程中碰到了很多挑战,本文将分享大量文件名记录的树形结构存储实践。

自制小工具大大加速MySQL SQL语句优化(附源码)

2019-06-21
阅读 9 分钟
9.2k
优化SQL,是DBA常见的工作之一。如何高效、快速地优化一条语句,是每个DBA经常要面对的一个问题。在日常的优化工作中,我发现有很多操作是在优化过程中必不可少的步骤。然而这些步骤重复性的执行,又会耗费DBA很多精力。于是萌发了自己编写小工具,提高优化效率的想法。

如何设计实时数据平台(技术篇)

2019-06-21
阅读 10 分钟
8.6k
敏捷之歌我抽数故我存在 | DBus 人人玩转流处理 | Wormhole 就当吾是数据库 | Moonbox 颜值最后十公里 | Davinci

如何设计实时数据平台(设计篇)

2019-06-20
阅读 7 分钟
2.5k
导读:本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论,即“实时数据平台”。在上篇设计篇中,我们首先从两个维度介绍实时数据平台:从现代数仓架构角度看待实时数据平台,从典型数据处理角度看待实时数据处理;接着我们会探讨实时数据平台整体设计架构、对具体问题的考量以及解决思路。在下篇技术篇中...

以企业级实时数据平台为例,了解何为敏捷大数据

2019-06-20
阅读 2 分钟
2.5k
敏捷大数据,即在敏捷理念原则指导下,构建出一系列通用平台工具,和一整套大数据应用全生命周期方法学,以支撑更轻量、更灵活、更低门槛的大数据实践。本文从理论层面整体解释我们所理解的“敏捷大数据”。

Linux三剑客之awk详解

2019-06-19
阅读 12 分钟
5.7k
awk不仅仅是linux系统中的一个命令,而且是一种编程语言;它可以用来处理数据和生成报告(excel);处理的数据可以是一个或多个文件;可以是直接来自标准输入,也可以通过管道获取标准输入;awk可以在命令行上直接编辑命令进行操作,也可以编写成awk程序来进行更为复杂的运用。

宜信开源|微服务任务调度平台SIA-TASK入手实践

2019-06-18
阅读 5 分钟
1.3k
最近宜信开源微服务任务调度平台SIA-TASK,SIA-TASK属于分布式的任务调度平台,使用起来简单方便,非常容易入手,部署搭建好SIA-TASK任务调度平台之后,编写TASK后配置JOB进行调度,进而实现整个调度流程。本文新建了JOB示例,该JOB关联了前后级联的两个TASK,TASKONE(前置TASK)和TASKTWO(后置TASK),主要阐述一个JOB怎...

宜人贷PaaS数据服务平台Genie:技术架构及功能

2019-06-17
阅读 9 分钟
2.1k
随着数据时代的到来,数据量和数据复杂度的增加推动了数据工程领域的快速发展。为了满足各类数据获取/计算等需求,业内涌现出了诸多解决方案。但大部分方案都遵循以下原则:

企业安全建设进阶

2019-06-14
阅读 7 分钟
3.7k
安全是个“无底洞”,没有一个企业的安全负责人会说自己的系统是百分百安全的,安全也不是特别好衡量和量化,尤其是定量地评估出谁比谁做得好、好多少。有时候也会反思,或者说迷茫,“上了那么多防护手段、到底能不能经得起对抗?”,“安全自研产品做了半年、用了半年、然后有一天它被废弃掉了”,“SDL喊了好几年了,怎么就...