大数据学习笔记

0

机器学习理论学习

• 小鸡   6月16日发布
• 收藏

对于K最近邻算法来说，判断新数据是属于红色还是黑色，非常简单，这个点离谁最近，就和谁是同一类了。显然这样看来，它属于红色。但是这非常容易犯了“一叶障目，不见泰山”的问题。可以增加最近邻的数量，假设我们...

0

Jackson的使用

• 小鸡   3月17日发布
• 收藏

Jackson的使用 枚举的序列化和反序列化 使用@JsonValue和@JsonCreator {代码...} 使用JsonType {代码...} 反序列化List {代码...}

0

Spark RDD combineByKey

• 小鸡   3月8日发布
• 收藏

这是一个很抽象化的方法，一开始看得一头雾水。但是大部分的聚合函数都基于这个方法去实现的，比如常用的reduceByKey，所以这个方法很重要。

0

ElasticSearch 聚合操作

• 小鸡   2019-12-20 发布
• 收藏

ElasticSearch 聚合操作 准备数据 {代码...} Metric聚合 最小值、平均值、最大值 {代码...} 使用stats得到统计值 {代码...} 分桶聚合 对员工的工种进行分桶 {代码...} 使用cardinality得到分桶数量 {代码...} 找...

0

scala学习：提取器

• 小鸡   2019-11-12 发布
• 收藏

scala学习：提取器 unapply 与模式匹配 {代码...} 正则表达式 {代码...}

1

Scala学习：抽象类型

• 小鸡   2019-11-08 发布
• 1 收藏

Scala学习：抽象类型 type 现实与代码不兼容的问题 先抛出一个现实与代码不兼容的问题。 以下代码奶牛吃草是正常的，但你把鱼也喂给奶牛，它竟然也吃起来了。这显然是不合理的。 scala通过type抽象类型解决这个问...

1

scala学习：枚举

• 小鸡   2019-11-06 发布
• 1 收藏

Scala学习：枚举类型 枚举 {代码...} 自定义Value {代码...}

1

scala学习：隐式转换与隐式参数

• 小鸡   2019-11-05 发布
• 1 收藏

隐式转换和隐式参数 Scala总共有三个地方会使用隐式定义： 转换到一个预期的类型 对某个（成员）选择接收端（字段、方法调用等）的转换 隐式参数 隐式规则 标记规则：只有标记为implicit的定义才可用。可标记任何...

1

scala学习：特质Trait

• 小鸡   2019-10-30 发布
• 1 收藏

特质 Trait Trait可堆叠特性 可自由组合你的算法，非常灵活。越靠后的特质越先执行。 特质使用的线性化解读super {代码...} 要特质还是不要？ 如果某个行为不会被复用用具体的类 如果某个行为可能被用于多个互不...

1

scala学习：模式匹配

• 小鸡   2019-10-29 发布
• 1 收藏

模式匹配 常量模式 {代码...} 变量模式 {代码...} 序列模式 {代码...} 元组模式 {代码...} 带类型模式 {代码...} 变量守卫 {代码...} 密封类 担心漏掉某些可能case的模式匹配编译警告：missing combination Int2 ...

1

scala学习：控制抽象

• 小鸡   2019-10-25 发布
• 1 收藏

控制抽象 减少重复代码 重复代码 这是一开始最可能写出来的代码，代码很简单，就是文件名的过滤功能。 {代码...} 将逻辑抽象出来 定义个filesMatching方法，将逻辑抽象，现在看着就舒服多了。 但还不够完美。 {代...

1

scala学习--方法与函数

• 小鸡   2019-10-20 发布
• 1 收藏

scala方法与函数（2.11） Scala介绍 Spark1.6中使用的是Scala2.10。Spark2.0版本以上使用是Scala2.11版本。 Scala官网6个特征 Java和scala可以混编 类型推测(自动推测类型) 并发和分布式（Actor） 特质，特征(类...

1

HBase 优化

• 小鸡   2019-10-16 发布
• 1 收藏

一般安装好的HBase集群，默认配置是给Master和RegionServer 1G的内存，而Memstore默认占0.4，也就是400MB。显然RegionServer给的1G真的太少了。

2

Oozie概览

• 小鸡   2019-09-27 发布
• 2 收藏

OOZIE概览 [TOC] 调度框架：Linux Crontab，Azkaban，oozie，zeus 三款任务调度系统比较 简介 oozie是一个工作流调度系统 工作流的调度是DAG 可扩展：一个oozie就是一个mr任务，但是仅仅是map，没有reduce 可靠性...

2

ElasticSearch Hot&Warm架构

• 小鸡   2019-09-23 发布
• 2 收藏

ElasticSearch Hot&Warm架构 数据通常不会有Update操作； 适⽤于Time based索引数据（生命周期管理），同时数据量⽐较大的场景。 引⼊Warm节点，低配置大容量的机器存放老数据，以降低部署成本 两类数据节点,...

2

ElasticSearch集群部署方式

• 小鸡   2019-09-20 发布
• 2 收藏

ElasticSearch集群部署方式 节点类型 生产环境中建议节点单一职责 Master eligible（使⽤低配置的 CPU，RAM 和磁盘） 负责集群状态管理 Data（使⽤高配置的 CPU, RAM 和磁盘） 负责数据存储及处理理客户端请求 In...

2

ElasticSearch分页与深度分页问题解决

• 小鸡   2019-09-16 发布
• 2 收藏

ElasticSearch分页与深度分页问题解决 ElasticSearch分页 {代码...} 这是ElasticSearch最简单的分页查询，但以上命令是会报错的。 报错信息，指window默认是10000。 {代码...} 怎么解决这个问题，首先能想到的就...

2

ElasticSearch分片定位与内部原理

• 小鸡   2019-09-10 发布
• 2 收藏

ElasticSearch分片定位与内部原理 路由文档到一个分片 文档会被存储到一个主分片中。Elasticsearch是如何知道一个文档应该存放到哪个分片中呢？ 实际上，这个过程是根据下面这个公式决定的： shard = hash(routin...

2

ElasticSearch跨集群搜索

• 小鸡   2019-09-05 发布
• 2 收藏

ElasticSearch跨集群搜索 水平扩展痛点 当水平扩展时，节点数不能无限增加。 因为当集群的meta信息（节点，索引，集群状态）过多，会导致更新压力变大。 单个Active Master会成为性能瓶颈，导致整个集群无法正常...

5

ElasticSearch搜索建议与上下文提示

• 小鸡   2019-09-03 发布
• 4 收藏

ElasticSearch搜索建议与上下文提示 搜索建议 通过Suggester Api实现 原理是将输入的文本分解为Token，然后在词典中查找类似的Term返回 根据不同场景，ElasticSearch设计了4中类别的Suggesters。 Term Suggester ...