在实际开发过程中,使用例如 DDD领 域模型充血方案或者为了数据模型更加的便于之后的拓展和解释,不便于也不建议通过增加状态字段的方式解决问题,但同时上层业务有相对比较复杂,就会存在数据模型与业务要求之间...
Kafka Producer 是负责向 Kafka 服务发送消息的应用程序,该文不讲故事,跟多偏重于原理和思考方面,对于 Kafka 没有任何了解的人,可能有点困难和枯燥。
社区其实在 1.6 版本中已经提供了近实时的方案,其存在分钟级别的准备时间,在对实时要求比较迫切的场景,这种是不能容忍的,于此同时其实现方式是通过每一个批次数据创建一个 segment,一个 segment 对应一个 HB...
Doris 这类 MPP 架构的 OLAP 数据库,通常都是通过提高并发,来处理大量数据的。本质上,Doris 的数据存储在类似 SSTable(Sorted String Table)的数据结构中。该结构是一种有序的数据结构,可以按照指定的列进...
GitHub Actions 是 GitHub 的持续集成服务,于2018年10月推出。是一种可以替换 Travis CI 作为 CI/CD 的解决方案。我也是近期存在一个需求,才开始进行尝试的,毕竟学了用是最好的学习方法。
Consul是HashiCorp公司推出的开源软件,通过 GO 语言编写,提供服务注册和发现、配置、多数据中心的高可用方案等能力,分布式一致方面采用 raft 算法 实现,并且很容易和 Spring Cloud 等微服务框架集成,使用起...
Java 作为一门高级程序语言,它的语法非常复杂,抽象程度也很高。因此,直接在硬件上运行这种复杂的程序并不现实。所以呢,在运行 Java 程序之前,我们需要对其进行一番转换。
Raft 可能大家对其还有点陌生,但我相信大家都知道 Paxos。但 Paxos 很被理解,反正我现在也不懂。两位研究者也提到,他们也花了很长的时间来理解 Paxos,他们也觉得很难理解,于是研究出了 Raft 算法。
本文是依据网络文章进行的汇总,持续更新帖 为什么要学 Java 8 的日期时间方法呢?SimpleDateFormat 不是很好用吗?我相信这种声音不在少数,原因有: SimpleDateFormat 非线程安全 拥抱新技术,没有什么不好的,...
upload a custom log4j.properties using spark-submit, by adding it to the --files list of files to be uploaded with the application.
Phoenix 官方提供了相应的导入和导出的方案,分别位于: 导入:[链接] 导入、导出:[链接] 导出需要依赖 Apache Pig 相应进行实现。我们先来聊聊如何导出吧。 环境:HDP 3.0.0、HBase 2.0.0、Phoenix 5.0.0、Pig ...
在进行详解之前,我想先声明一下,本次我们进行讲解说明的是 Kafka 消息存储的信息文件内容,不是所谓的 Kafka 服务器运行产生的日志文件,这一点希望大家清楚。
说在文前 本文内容是基于 Centos 7、HDP 3.0.0、HBase 2.0.0、Python 2.7 环境下,其他环境的童鞋选择性进行参考 安装 Thrift 安装依赖包 {代码...} 安装 boost (CentOS 7 必做) {代码...} 下载 Thrift {代码...}...
在正式进行讲述实现之前,我觉得有必要说一下出发点。团队期初数据都是基于 HBase+Phoenix 这样架构进行持久化。随着业务的复杂性增加,对部分表的查询效率和查询条件多样性,提出了更高的要求。HBase+Phoenix 就...
在上篇讲到了,HDFS Delegation Token 问题的解决方法是 Spark-Submit 方式可以进行解决,经过了一段时间的反思和查看 Livy 和 Spark-Submit 两者日志之后,有了一点新发现,并且测试认证了,该方式是可行的,那...
由于我们团队是最近上的 Kerberos ,免不了会出现一些问题,现阶段还处于踩坑阶段。希望通过我们的填坑的经历,帮助到同样身处坑内的伙伴。我们使用的 Hortonworks-HDP 环境。
在项目应用中,我们会写很多文档去传递我们的设计思想、开发经验、采坑经历等等。使用Asciidoc的格式对非技术人员就不是那么的友好,或者说传递性、通用性与PDF和网页相比就差很多了。在JVM项目中可以使用Maven的...
Vertx是一个高效的异步框架,支持Java、Scala、JavaScript、Kotlin等多种语言。在非性能调优的场景下,TPS可以高达2-3万,同时,支持多种数据源也提供了异步支持。
问题领导最近跟我提了一个需求,是有关于实现类Mybatis的@Select、@Insert注解的功能。其是基于interface层面,不存在任何的接口实现类。因而在实现的过程中,首先要解决的是如何动态实现接口的实例化。其次是如...
feeling主义者,追求极致的简约,创造最好的用户...