大数据学习笔记

0

深度学习之简单分类

• 小鸡   4月13日发布
• 收藏

深度学习之简单分类简单二元分类制造数据 {代码...} 构建模型并训练 {代码...} 查看测试数据和预测数据 {代码...} 多分类制造数据 {代码...} 构建模型并训练 {代码...} 查看数据 {代码...}

0

深度学习之回归模型-简单线性模型

• 小鸡   3月30日发布
• 收藏

深度学习之回归模型-简单线性模型数据集生成 {代码...} 定义线性模型 {代码...} 训练模型 {代码...} 画出损失历史图 {代码...} 查看模型是否拟合 {代码...}

0

sparkStreaming处理离线任务

• 小鸡   2020-10-23 发布
• 收藏

会有一些任务需要实时调取某用户的XX信息，在这一层如果使用接口去做，如果数据量到达30几万的数据，光一个scan就卡死在那边了。后面采用离线任务去做，大概一个任务可能会需要10几秒左右完成。

1

Spark读取ElasticSearch数据优化

• 小鸡   2020-08-21 发布
• 1 收藏

一般业务上，我们只会关心写ElasticSearch，写也没有用到spark-elasticsearch组件。使用的是ElasticSearch原生的bulkProcessor。

0

ElasticSearch ILM试玩

• 小鸡   2020-08-17 发布
• 收藏

ElasticSearch ILM试玩创建一个生命周期管理策略官方给的例子 {代码...} 自己随便造一个，完全可以在Kibana界面上完成操作~ {代码...} 创建一个带有策略的索引副本官方示例 {代码...} 自己造一个 {代码...} 写入...

0

机器学习理论学习

• 小鸡   2020-06-16 发布
• 收藏

对于K最近邻算法来说，判断新数据是属于红色还是黑色，非常简单，这个点离谁最近，就和谁是同一类了。显然这样看来，它属于红色。但是这非常容易犯了“一叶障目，不见泰山”的问题。可以增加最近邻的数量，假设我们...

0

Jackson的使用

• 小鸡   2020-03-17 发布
• 收藏

Jackson的使用 枚举的序列化和反序列化 使用@JsonValue和@JsonCreator {代码...} 使用JsonType {代码...} 反序列化List {代码...}

0

Spark RDD combineByKey

• 小鸡   2020-03-08 发布
• 收藏

这是一个很抽象化的方法，一开始看得一头雾水。但是大部分的聚合函数都基于这个方法去实现的，比如常用的reduceByKey，所以这个方法很重要。

0

ElasticSearch 聚合操作

• 小鸡   2019-12-20 发布
• 收藏

ElasticSearch 聚合操作 准备数据 {代码...} Metric聚合 最小值、平均值、最大值 {代码...} 使用stats得到统计值 {代码...} 分桶聚合 对员工的工种进行分桶 {代码...} 使用cardinality得到分桶数量 {代码...} 找...

0

scala学习：提取器

• 小鸡   2019-11-12 发布
• 收藏

scala学习：提取器 unapply 与模式匹配 {代码...} 正则表达式 {代码...}

1

Scala学习：抽象类型

• 小鸡   2019-11-08 发布
• 1 收藏

Scala学习：抽象类型 type 现实与代码不兼容的问题 先抛出一个现实与代码不兼容的问题。 以下代码奶牛吃草是正常的，但你把鱼也喂给奶牛，它竟然也吃起来了。这显然是不合理的。 scala通过type抽象类型解决这个问...

1

scala学习：枚举

• 小鸡   2019-11-06 发布
• 1 收藏

Scala学习：枚举类型 枚举 {代码...} 自定义Value {代码...}

1

scala学习：隐式转换与隐式参数

• 小鸡   2019-11-05 发布
• 1 收藏

隐式转换和隐式参数 Scala总共有三个地方会使用隐式定义： 转换到一个预期的类型 对某个（成员）选择接收端（字段、方法调用等）的转换 隐式参数 隐式规则 标记规则：只有标记为implicit的定义才可用。可标记任何...

1

scala学习：特质Trait

• 小鸡   2019-10-30 发布
• 1 收藏

特质 Trait Trait可堆叠特性 可自由组合你的算法，非常灵活。越靠后的特质越先执行。 特质使用的线性化解读super {代码...} 要特质还是不要？ 如果某个行为不会被复用用具体的类 如果某个行为可能被用于多个互不...

1

scala学习：模式匹配

• 小鸡   2019-10-29 发布
• 1 收藏

模式匹配 常量模式 {代码...} 变量模式 {代码...} 序列模式 {代码...} 元组模式 {代码...} 带类型模式 {代码...} 变量守卫 {代码...} 密封类 担心漏掉某些可能case的模式匹配编译警告：missing combination Int2 ...

1

scala学习：控制抽象

• 小鸡   2019-10-25 发布
• 1 收藏

控制抽象 减少重复代码 重复代码 这是一开始最可能写出来的代码，代码很简单，就是文件名的过滤功能。 {代码...} 将逻辑抽象出来 定义个filesMatching方法，将逻辑抽象，现在看着就舒服多了。 但还不够完美。 {代...

1

scala学习--方法与函数

• 小鸡   2019-10-20 发布
• 1 收藏

scala方法与函数（2.11） Scala介绍 Spark1.6中使用的是Scala2.10。Spark2.0版本以上使用是Scala2.11版本。 Scala官网6个特征 Java和scala可以混编 类型推测(自动推测类型) 并发和分布式（Actor） 特质，特征(类...

1

HBase 优化

• 小鸡   2019-10-16 发布
• 1 收藏

一般安装好的HBase集群，默认配置是给Master和RegionServer 1G的内存，而Memstore默认占0.4，也就是400MB。显然RegionServer给的1G真的太少了。

3

Oozie概览

• 小鸡   2019-09-27 发布
• 3 收藏

OOZIE概览 [TOC] 调度框架：Linux Crontab，Azkaban，oozie，zeus 三款任务调度系统比较 简介 oozie是一个工作流调度系统 工作流的调度是DAG 可扩展：一个oozie就是一个mr任务，但是仅仅是map，没有reduce 可靠性...

2

ElasticSearch Hot&Warm架构

• 小鸡   2019-09-23 发布
• 2 收藏

ElasticSearch Hot&Warm架构 数据通常不会有Update操作； 适⽤于Time based索引数据（生命周期管理），同时数据量⽐较大的场景。 引⼊Warm节点，低配置大容量的机器存放老数据，以降低部署成本 两类数据节点,...