宜信卢山巍:数据中台的“自动化数据治理”时代已来

2019-11-18
阅读 8 分钟
2.2k
中台,我理解是能力的下沉,数据处理能力下沉为加工平台,数据处理结果下沉为数据资产。那么数据治理能否下沉?可以下沉出什么东西?——宜信数据中台负责人 卢山巍

如何利用缓存机制实现JAVA类反射性能提升30倍

2019-11-13
阅读 19 分钟
8.6k
文章来源:宜信技术学院 & 宜信支付结算团队技术分享第4期-支付结算部支付研发团队高级工程师陶红《JAVA类反射技术&优化》分享者:宜信支付结算部支付研发团队高级工程师陶红 原文首发于宜信支付结算技术团队公号:野指针

快速入门开发实现订单类图片识别结果抽象解析

2019-11-12
阅读 7 分钟
2.8k
面对订单数据纸质文件或图片,仅靠人眼识别的话效率很低,需引入机器学习来识别和解析图片以提高效率。当前市面上已有收费的图片识别服务,包括阿里、百度等,识别效果较好,但针对订单类图片,不仅要关注图片上的文字,还要关注文字所在的行列,来分出每条数据和数据详细字段。

Nginx专题(1):Nginx之反向代理及配置

2019-11-06
阅读 3 分钟
2.9k
文章来源:宜信技术学院 & 宜信支付结算团队技术分享第一期-宜信支付结算八方数据团队高级技术经理 周恒《Nginx的细枝末节》分享者:宜信支付结算八方数据团队高级技术经理 周恒 原文首发于支付结算技术团队公号:野指针

宜信的105条数据库军规

2019-11-05
阅读 6 分钟
2.3k
作为一家金融科技企业,宜信的大量业务都依赖于数据库。如何提高公司整体数据库应用水平,是对DBA的一大挑战,也非常具有现实意义。笔者在宜信的多年工作中,与团队一起总结整理了针对传统关系型数据库的使用规则,并借助自研的数据库审核平台落地,借此帮助研发团队评估数据库开发质量,达到尽早发现问题、解决问题之目...

启动、配置、扩容、伸缩、存储,开普勒云平台之使用指南

2019-11-01
阅读 9 分钟
2.7k
kplcloud是一个基于Kubernetes的轻量级PaaS平台,通过可视化的界面对应用进行管理,降低应用容器化的对度,从而减少应用容器化的时间成本。

开普勒云平台:9个示例解析如何安装依赖

2019-10-31
阅读 8 分钟
2k
kplcloud是一个基于Kubernetes的轻量级PaaS平台,通过可视化的界面对应用进行管理,降低应用容器化的对度,从而减少应用容器化的时间成本。

宜信技术学院全新升级,理念、工具、案例三大核心解读金融科技技术解决方案

2019-10-30
阅读 2 分钟
3.3k
经过多年的探索和发展,宜信技术团队沉淀了海量的软件研发经验,特别是在金融科技领域,积极探索软件技术在金融服务与金融安全保障方面的智能化、创新性的技术解决方案,并取得了非常多的技术成果。2019年,围绕“科技支持、科技赋能、科技引领”的理念,宜信技术团队通过数据中台、AI中台等中台化产品的落地,开发出智能...

如何快速部署容器化应用

2019-10-29
阅读 5 分钟
5.5k
摘要:容器化推行的过程中,研发、运维学习及使用成本都非常高,那有没有一款简单易用的平台呢?本文介绍基于Kubernetes的应用管理平台-开普勒云平台。

开普勒云平台:如何配置gitlab与Jenkins

2019-10-28
阅读 2 分钟
2.9k
kplcloud是一个基于Kubernetes的轻量级PaaS平台,通过可视化的界面对应用进行管理,降低应用容器化的对度,从而减少应用容器化的时间成本。

基于统计的预警:同环比预警实现深度剖析

2019-10-24
阅读 3 分钟
2.2k
UAV.Monitor提供了对全维监控指标的预警功能,各类型的监控指标均可配置预警策略,当预警策略被触发后,可通过邮件、HTTP调用等方式进行通知报警,并会根据预警时间频率等对报警动作进行压制。

运用第一性原理探寻AI本质

2019-10-23
阅读 4 分钟
3.9k
文章来源:宜信技术学院|宜信支付结算团队技术分享第二期-支付结算机器学习技术团队负责人 刘创 分享《AI与第一性原理》分享者:宜信支付结算机器学习技术团队负责人 刘创 原文发布于个人博客:动物园的猪

宜信微服务任务调度平台建设实践|分享实录

2019-10-22
阅读 8 分钟
2.5k
导读:如今,无论是互联网应用还是企业级应用,都充斥着大量的批处理任务,常常需要一些任务调度系统帮助我们解决问题。随着微服务化架构的逐步演进,单体架构逐渐演变为分布式、微服务架构。

调用链与日志关联的探索式查询

2019-10-21
阅读 3 分钟
2.7k
Observability是一个最近几年开始在监控社区流行的术语。本文将Observability视为一种理念,一种监控的超集,包括监控、日志聚合、分布式跟踪,可以实时更深入地观察系统。本文将就其中的日志聚合、分布式跟踪及具体应用中结合使用进行展开说明。

Kubernetes+Docker+Istio 容器云实践

2019-10-17
阅读 10 分钟
4.8k
随着社会的进步与技术的发展,人们对资源的高效利用有了更为迫切的需求。近年来,互联网、移动互联网的高速发展与成熟,大应用的微服务化也引起了企业的热情关注,而基于Kubernetes+Docker的容器云方案也随之进入了大众的视野。开普勒云是一个基于Kubernetes+Docker+Istio的微服务治理解决方案。

如何运用结构化思维进行故障处理

2019-10-16
阅读 4 分钟
1.9k
近期收到朋友赠送的一本书—《深入浅出MySQL》。闲暇之余,阅读了部分章节,书中针对故障处理一节,给我印象颇深。书中提炼出的一些方法论,正是我之前在团队中推广的方法。其目的是为了将故障应急操作标准化,进而提升处理效率。推而广之,这其实是一种结构化思维在具体工作中的体现。而这种思想在某具体工作、乃至个人...

宜信开源|UAVStack功能上新:新增JVM监控分析工具

2019-10-15
阅读 3 分钟
2.3k
摘要:UAVStack推出的JVM监控分析工具提供基于页面的展现方式,以图形化的方式展示采集到的监控数据;同时提供JVM基本参数获取、内存dump、线程分析、内存分配采样和热点方法分析等功能。

专访宜信Bob:市场变化驱动产品思维升级

2019-10-14
阅读 3 分钟
3.9k
前言:宜信技术人物专访是宜信技术学院推出的系列性专题,我们邀请软件研发行业的优秀技术人,分享自己在软件研发领域的实践经验和前瞻性观点。第四期专访我们邀请到宜信科技中心财富管理产品部负责人Bob,与大家一起聊聊个性化推荐产品功能的设计和B端产品的功能策划方式。 拓展阅读:回归架构本质,重新理解微服务|专...

Kubernetes监控实践(2):可行监控方案之Prometheus和Sensu

2019-09-27
阅读 4 分钟
2.8k
本文介绍两个可行的K8s监控方案:Prometheus和Sensu。两个方案都能全面提供系统级的监控数据,帮助开发人员跟踪K8s关键组件的性能、定位故障、接收预警。

Redis专题(3):锁的基本概念到Redis分布式锁实现

2019-09-25
阅读 10 分钟
2.9k
近来,分布式的问题被广泛提及,比如分布式事务、分布式框架、ZooKeeper、SpringCloud等等。本文先回顾锁的概念,再介绍分布式锁,以及如何用Redis来实现分布式锁。

混合事务分析处理“HTAP”的技术要点分析

2019-09-24
阅读 4 分钟
2.3k
OLTP是事件驱动、面向应用的,也称为面向交易的处理过程。其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果,是对用户操作的快速响应。例如银行类、电子商务类的交易系统就是典型的OLTP系统。

Kubernetes监控实践(1):K8s的工作原理与监控实践

2019-09-19
阅读 3 分钟
2.2k
Kubernetes(K8s)是一个开源平台,能够有效简化应用管理、应用部署和应用扩展环节的手动操作流程,让用户更加灵活地部署管理云端应用。

巧用自动化测试组合拳保证产品质量

2019-09-17
阅读 9 分钟
2.4k
“如何保证质量”一直是产品或项目过程中关注的焦点,而测试是产品质量把控环节中非常关键的部分。本文结合我们的实践经验,总结出一套有效的自动化测试组合拳。

拆解大数据总线平台DBus的系统架构

2019-09-12
阅读 5 分钟
6.4k
拓展阅读:大数据总线平台DBus设计思路与工作原理 如何基于日志,同步实现数据的一致性和实时抽取? 快速部署DBus体验实时数据流计算 Dbus所支持两类数据源的实现原理与架构拆解。 大体来说,Dbus支持两类数据源: RDBMS数据源 日志类数据源 一、RMDBMS类数据源的实现 以mysql为例子. 分为三个部分: 日志抽取模块 增量转...

SIA-GateWay之API网关安装部署指南

2019-09-11
阅读 9 分钟
2.1k
SIA-GATEWAY是基于SpringCloud微服务生态体系下开发的一个分布式微服务网关系统。具备简单易用、可视化、高可扩展、高可用性等特征,提供云原生、完整及成熟的接入服务解决方案。本文介绍API网关的安装部署。

MyCat数据库的基础配置及使用

2019-09-10
阅读 10 分钟
3.1k
随着计算机和信息技术的迅猛发展,行业应用系统的规模迅速扩大,行业应用所产生的数据量呈爆炸式增长,动辄达到数百TB甚至数百PB的规模,已远远超出传统计算技术和信息系统的处理能力,集中式数据库面对大规模数据处理逐渐表现出其局限性。因此,人们希望寻找一种能快速处理数据和及时响应用户访问的方法,也希望对数据...

Agentless监控实践中的预警指标采集

2019-09-04
阅读 3 分钟
2.3k
本文介绍的监控解决方案由高性能时序数据库InfluxDB、时序分析监控工具Grafana及Agentless自动化工具Ansible构成:Ansible负责不间断抓取服务器硬件指标数据,并将数据存储在数据库InfluxDB中;时序分析监控工具Grafana负责从InfluxDB中读取并展示指标数据,设定阈值,配置预警。

82天突破1000star,项目团队梳理出软件开源必须注意的8个方面

2019-09-03
阅读 9 分钟
2.7k
近期,我们在GitHub上开源了微服务任务调度框架SIA-TASK,82天,收获了1000+个star!由于这是SIA团队第一次开源项目,开源的相关工作,团队之前并没有太多的经验,因此我们特别整理了本次开源的各种记录事项,希望给今后开源的项目做参考。

云端数据仓库的模式选型与建设

2019-08-29
阅读 5 分钟
2.7k
数据,对一个企业的重要性不言而喻,如何利用好企业内部数据,发挥数据的更大价值,对于企业管理者而言尤为重要。作为最传统的数据应用之一,数据仓库在企业内部扮演着重要的角色,构建并正确配置好数据仓库,对于数据分析工作至关重要。一个设计良好的数据仓库,可以让数据分析师们如鱼得水;否则可能使企业陷入无休止...

5分钟了解lucene全文索引

2019-08-27
阅读 3 分钟
3.9k
目前基于此工具包开源的搜索引擎,成熟且广为人知的有Solr和Elasticsearch。2010年后Lucene和Solr两个项目由同一个Apache软件基金会的开发团队制作,所以通常我们看到的版本都是同步的。二者的区别是Lucene是工具包,而Solr是基于Lucene制作的企业级搜索应用。另外,我们常用的Eclipse,帮助系统的搜索功能也是基于Lucen...