Spring Boot——入门 spring boot简化了spring的开发，是J2EE一站式解决方案。 Spring Boot 的优缺点 优点 快速创建独立运行的服务，与主流框架集成。 使用嵌入式Serverlet容器，应用无需达成war包。 starters自动依赖与版本控制。 大量的自动配置，简化开发，支持自定义配置。 无需xml配置，开箱即用。 准生产环境的运行...

re-frame介绍 re-frame是一个帮助我们快速开发WEB单页面应用的框架，是一个基于数据驱动的框架。其主要流程是如下的一个永无止境大循环： dispatch——事件分发 事件来源：用户输入、用户点击、定时器、远程调用响应等。事件作为一个数据被投入到类似于事件总线的队列，其数据结构为： {代码...} re-frame事件分发函数： {...

接上篇文章 【kafka KSQL】游戏日志统计分析（2），本文主要通过实例展示KSQL的连接查询功能。 创建另一个topic {代码...} 往新topic中写入数据 {代码...} 从prop-normalized主题创建Stream {代码...} 重新设置ROWKEY为user__name {代码...} 查询完成3局对局且没有使用过道具的所有玩家 查询出所有玩家的对局情况，并创...

接上一篇文章【kafka KSQL】游戏日志统计分析（1），展示一下KSQL WINDOW 功能的使用。 测试用日志数据： {代码...} KSQL三种Window 统计每2分钟内完成对局大于等于3局的玩家 根据时间窗口（Tumbling window）建立table： {代码...} 过滤出game_count大于3局的玩家： {代码...} 输出： {代码...} 统计曾在10分钟之内完成...

【kafka KSQL】游戏日志统计分析（1） 以游戏结算日志为例，展示利用KSQL对日志进行统计分析的过程。 启动confluent {代码...} 查看kafka主题列表 {代码...} 创建接受游戏结算日志的topic {代码...} 使用生产者命令行工具往topic中写日志 {代码...} 使用消费者命令行工具查看日志是否正常写入 {代码...} 启动KSQL客户端 ...

在生产环境中，各个业务服务产生的事件都会被push到Kafka消息中间件中。如：充值中心的 充值事件 会被push到kafka的recharge topic中，玩家 结算事件 会被push到kafka的game_score topic中。

在前面的文章【Linux系统】文件系统（1）——磁盘的基本知识中，主要对存储文件的磁盘的一些基础知识进行了介绍。对于Linux系统来说，一切的数据都起源于磁盘中存储的文件。Linux文件系统的结构及其在磁盘中是如何存储的？操作系统是怎样找到这些文件进行读取的？这一章主要围绕这几个问题进行介绍（以Ext2文件系统（传统...

文件系统是Linux系统的核心，在Linux系统中，一切皆文件。对于开发者而言，编程过程中通常用到的是文件IO。在open函数打开文件，read函数读取文件的过程底层原理如何？本文件系统系列文章主要尝试针对的是这部分内容进行深入的讲解。

producer可以用于缓存等待发送到服务端的消息记录的缓冲区大小，当消息记录发送到缓冲区的速度大于传输到server的速度，那么等待发送的消息记录将会放在缓冲区，缓冲区如果满了，那么producer会阻塞max.block.ms指定的毫秒数，超过该毫秒数时，将抛出异常。

前面的文章对producer流程及其可自定义的配置类做了大体介绍，本文将继续对Kafka生成者编程相关知识点进行讲解。ProducerConfig类存放着producer客户端可配置的项以及其对应的解释文档，在本文中，主要根据其说明文档，分析kafka内部的一些机制和原理。

在上一篇文章【大数据实践】Kafka生产者编程（2）——producer发送流程中，对自定义Interceptor和自定义Partitioner做了简单介绍，没有做深入讲解。因此，在本文章中，尝试补充介绍Interceptor和Partitioner的一些理论知识，并介绍如何自定义者两个类。

在上一篇文章【大数据实践】Kafka生产者编程（1）——KafkaProducer详解中，主要对KafkaProducer类中的函数进行了详细的解释，但仅针对其中的一些方法，对于producer背后的原理、机制，没有做深入讲解。因此，在本文章中，尝试介绍kafka producer整个发送流程。在写作此文章时，自己也处于对Kafka的学习阶段，可能有些细节...

在文章【大数据实践】游戏事件处理系统系列文章中中，我们已经做到使用filebeat收集日志事件、logstash处理日志事件、发送日志事件到kafka集群，并在消费者中消费的过程。其中，为kafka集群生产消息的，是logstash服务，而非我们自定义的生成者。在本文中，将主要介绍KafkaProducer类相关的一些接口和理论知识（基于kafk...

上一篇文章【大数据实践】游戏事件处理系统（2）——事件处理-logstash中，对日志的处理进行了讲解，其事件最终要输出到kafka集群中。因此，在本文章中，将介绍简单kafka集群的创建过程。本篇文章完成后，系统应该能够跑通日志收集、处理及输出到kafka，并能使用kafka的工具验证消息的正确性。

在之前的文章【大数据实践】游戏事件处理系统（1）——事件收集-filebeat中，对本系统的背景、目标及技术方案进行了概述，并利用filebeat收集到日志，发送到logstash。因此，本文章将对logstash如何接收、处理、输出事件进行介绍。

游戏平台每天产生上千万条牌局结算日志（包括跑得快PDK、斗地主DDZ等各种游戏），这些日志未非结构化数据。很多时候，我们需要依据这些日志制定各种业务服务，如道具、礼包等。