Phoenix 数据导入与导出

2019-05-15
阅读 5 分钟
8.6k
Phoenix 官方提供了相应的导入和导出的方案,分别位于: 导入:[链接] 导入、导出:[链接] 导出需要依赖 Apache Pig 相应进行实现。我们先来聊聊如何导出吧。 环境:HDP 3.0.0、HBase 2.0.0、Phoenix 5.0.0、Pig 0.16.0 导出 Phoenix 官方提供的 Pig 方案,看似很简单,其实还是有很多需要注意的地方,比较官方给的都是...

HBase Thrift with Python (Kerberos)

2019-05-08
阅读 7 分钟
9.5k
说在文前 本文内容是基于 Centos 7、HDP 3.0.0、HBase 2.0.0、Python 2.7 环境下,其他环境的童鞋选择性进行参考 安装 Thrift 安装依赖包 {代码...} 安装 boost (CentOS 7 必做) {代码...} 下载 Thrift {代码...} 0.10.0 版本之前的不支持 python 3.5 生成 hbase.thrift HDP 下 HBase 相应的安装目录下本身就已经存在 hb...

HBase 2.0 协处理器实现 ES 数据同步

2019-01-30
阅读 15 分钟
9.1k
在正式进行讲述实现之前,我觉得有必要说一下出发点。团队期初数据都是基于 HBase+Phoenix 这样架构进行持久化。随着业务的复杂性增加,对部分表的查询效率和查询条件多样性,提出了更高的要求。HBase+Phoenix 就会出现索引滥用。变更索引变的特别的频繁,同时一些数据客观的表,变更索引的代价是非常大的。

记一次大数据爬坑

2018-04-18
阅读 3 分钟
3.4k
Vertx是一个高效的异步框架,支持Java、Scala、JavaScript、Kotlin等多种语言。在非性能调优的场景下,TPS可以高达2-3万,同时,支持多种数据源也提供了异步支持。

Vertx-Phoenix实践

2018-04-18
阅读 3 分钟
2.7k
Vertx是一个高效的异步框架,支持Java、Scala、JavaScript、Kotlin等多种语言。在非性能调优的场景下,TPS可以高达2-3万,同时,支持多种数据源也提供了异步支持。