我们在刚开始学习ClickHouse的MergeTree引擎时，就会发现建表语句的末尾总会有SETTINGS index_granularity = 8192这句话（其实不写也可以），表示索引粒度为8192。在每个data part中，索引粒度参数的含义有二：

在做系统监控时，CPU的使用率是一个关键的指标，它反映了系统的性能稳定性以及是否存在异常情况，能帮助我们了解系统的负载情况。通过监控CPU使用率，可以判断系统是否正常运行或者是否存在性能问题。如果CPU使用率过高，可能表示系统存在资源瓶颈，需要进行优化或升级。

一个任务中心技术实现的参考案例，可以快速部署实现且仅需关注业务个性落库逻辑实现，其他如任务状态维护、数据解析及异常包装、结果导出均由工具自动实现。

京东莫奈可视化平台通过自由拖拽、图形化编辑、所见即所得的方式，快速实现极致酷炫、直观清晰的视觉场景，将海量繁杂数据背后所蕴含的价值更直观、深层、全面的展现出来，辅助决策者合理决策。

推荐领域算法模型的在线推理是一个对高并发、高实时有较强要求的场景。算法最初是基于Wide & Deep相对简单的网络结构进行建模，容易满足高实时、高并发的推理性能要求。但随着广告模型效果优化进入深水区，基于Transformer用户行为序列和Attention的建模逐渐成为主流，这个阶段模型的特点是参数的体量、网络结构复杂度呈...

streampark+flink一键整库或多表同步mysql到doris实战，此应用一旦推广起来，那么数据实时异构时，不仅可以减少对数据库的查询压力，还可以减少数据同步时的至少50%的成本，还可以减少30%的存储成本；

很多不太了解的人会认为：数据治理就是干数据清洗的。近两年，在我们公司，数据治理团队在数据降本方面做的比较多，效果还不错，我们很多人可能以为：数据治理就是做数据清理的。在京东科技集团数据治理工作组第一次全体会议上，我就讲过数据治理和数据清洗之间的关系：数据清洗只是指通过识别和纠正数据中的错误、缺失...

1. PageHelper方法使用了静态的ThreadLocal参数，在startPage()调用紧跟MyBatis查询方法后，才会自动清除ThreadLocal存储的对象。

非内积召回源是目前首页推荐最重要的召回源之一。同时非内积相比于向量化召回最终仅将user和item匹配程度表征为embeding内积，非内积召回仅保留item embedding，不构造user显式表征，而是通过一个打分网络计算用户-商品匹配程度，极大的提升了模型精准度的上限，有很大优化空间。

软件在持续的开发和维护过程中，会不断添加新功能和修复旧的缺陷，这往往伴随着代码的快速增长和复杂性的提升。若代码库没有得到良好的管理和重构，就可能积累大量的技术债务，包括不一致的设计、冗余代码、过时的库和框架以及不再使用的功能。这些因素都会导致软件结构的脆弱，增加系统出错的可能性，我们俗称为“代码腐...

接到重点业务需求要分轮次展示数据，预估最高承接 9w 的 QPS，作为后端工程师下意识的就是把接口写好，分级缓存、机器扩容、线程拉满等等一系列连招准备，再因为数据更新频次两只手都数得过来，我们采取了最稳妥的处理方式，直接生成静态文件拿 CDN 抗量

自知是人外有人，天外有天，相信对于Log4j2的异步日志打印早有老师或者同学已是熟稔于心，优化配置更是信手拈来，为了防止我在这里啰里八嗦的班门弄斧，我先将谜底在此公布：_log4j2.asyncQueueFullPolicy=Discard & log4j2.discardThreshold=ERROR__，这两个Log4j2配置在强依赖的RPC服务方系统或中间件系统出现问题且业...

《幻兽帕鲁》是一款备受瞩目的开放世界生存建造游戏，近期火爆全网。玩家可以在游戏世界中收集神奇的生物“帕鲁”，并利用它们进行战斗、建造、农耕、工业生产等各种活动。

算法策略在广告行业中起着重要的作用，它可以帮助广告主和广告平台更好地理解用户行为和兴趣，从而优化广告投放策略，提高广告点击率和转化率。模型系统作为承载算法策略的载体，目前承载搜索、推荐、首焦、站外等众多广告业务和全链路的深度学习建模，是广告算法算法创新和业务迭代发展的重要基石。

描述：如果错误码的命名或描述不清晰，可能导致其他开发人员难以理解其含义。举例：例如，一个错误码命名为“ERR1001”，没有进一步的注释或描述，可能导致其他开发人员不知道这个错误码代表的具体问题。

部门内有一些亿级别核心业务表增速非常快，增量日均100W，但线上业务只依赖近一周的数据。随着数据量的迅速增长，慢SQL频发，数据库性能下降，系统稳定性受到严重影响。本篇文章，将分享如何使用MyBatis拦截器低成本的提升数据库稳定性。

你曾读spring源码 “不知所云”、“绞尽脑汁”、“不知所措”嘛🤣🤣🤣那这篇文章可能会对你有所帮助，小编尝试用简单、易懂的例子来模拟spring经典代码👉Spring Bean生命周期及扩展点，让你能够轻松的读懂Spring Bean的生命周期，更加深入的理解Spring。那好，下面小编将从如下几个步骤来介绍✍️✍️✍️1》回顾Spring Bean相关知识点1....

最近刚接触写Hive SQL，却发现许多查询的执行速度远不如预期。为了提升查询效率，我去阅读了《Hive编程指南》，希望通过理解其底层机制来找到优化的方式，并为未来能编写出高效的SQL奠定基础。谨以此文做个记录。

在研发过程中，每个研发同学在联调、自测阶段中总会频繁的去执行编译、构建、打包的动作，遇到比较大的项目，执行一套流程下来，往往需要3-10分钟左右，极大的降低了研发的速度，基于以上痛点，我们基于JAVA Agent技术开发出一套插件【藏经阁热更新插件】，通过热更新方式，实现了修改代码即时生效，极大的降低研发的打...

CDP系统提供了强大的标签和群体的构建能力，面对海量数据的标签和群体，我们采用了Bitmap+ClickHouse的存储与计算方案。详细内容可以参考之前文章。

我们都知道数据仓库的概念，它的里边存储了我们所有的数据，其中就包含了标签或群体所依赖的数据，但是这些数据并不能直接拿来使用，想要变成业务需要的标签或群体数据，还需要进行加工。

一、背景介绍CDP系统中目前存在大量由用户ID集合组成的标签和群体，截止当前已有几千+标签，群体2W+。大量的标签都是亿级别数据量以上，例如性别、职业、学历等均，甚至有群体中的ID数量达到了数十亿+。并且随着用户ID池的不断增加，标签和群体本身包含的ID数量也随之增加，如何存储如此多的数据，标签与群体之间的组合...

过去一年，围绕开放生态建设、低价心智等主要方向，京东零售技术团队持续攻坚。从百亿补贴、调整流量分配机制为用户提供低价品质好货，到简化商家进驻流程、优化商家体验，带动商家数量增长和平台生态活跃，再到将大模型结合到内部大量业务场景，探索效率提升……快速响应、助力业务的同时，京东零售技术团队继续夯实增强...

目前大促备战常见备战工作：专项压测（全链路压测、内部压测）、灾备演练、降级演练、限流、巡检（监控、应用健康度）、混沌演练（红蓝对抗），如下图所示。随着平台业务越来越复杂，红蓝对抗的作用愈来愈明显，下面将详细介绍大数据平台在大促备战工作中是如何开展红蓝对抗的。

如何评定一个系统的质量？什么样的系统或者软件可以称之为高质量？可以从三个角度来看，一是架构设计，例如技术选型、分布式系统中的数据一致性考虑等，二是项目管理，无论是敏捷开发还是瀑布式开发，都应当对技术负债进行清理，对代码进行重构等，最后离不开的是代码质量，代码质量的高低直接影响系统的可维护性和可扩...

1 前言Elasticsearch作为一个分布式搜索引擎，自身是高可用的；但也架不住一些特殊情况的发生，如：集群超过半数的master节点丢失，ES的节点无法形成一个集群，进而导致集群不可用；索引shard的文件损坏，分片无法被正常恢复，进而导致索引无法正常提供服务本地盘节点，多数据节点故障，旧节点无法再次加入集群，数据丢...

选择连接策略的核心原则是尽量避免shuffle和sort的操作，因为这些操作性能开销很大，比较吃资源且耗时，所以首选的连接策略是不需要shuffle和sort的hash连接策略。

随着金融App业务的不断发展，为了满足不同场景下的用户体验及丰富的业务诉求，业务产品层面最直接体现就是大量新功能的上线及老业务的升级，随之也给研发带来了巨大的压力，所以研发效率的提升就是当前亟需解决的问题，今天我们来看下“画眉”平台是如何帮助前端研发同学提效的。

Ngnix已经广泛应用于J-one和Jdos的环境部署上，本文对Ngnix的常用的配置和基本功能进行讲解，适合Ngnix入门学习。1 核心配置找到Nginx安装目录下的conf目录下nginx.conf文件，Ngnix的基本功能配置是由它提供的。1.1 配置文件结构Nginx的配置文件(conf/nginx.conf)整体上分为如下几个部分：配置层级图如下所示。1.2 配置...

在日常开发工作中，我们经常用Mybatis Generator根据表结构生成对应的实体类和Mapper文件。但是Mybatis Generator默认生成的代码中，注释并不是我们想要的，所以一般在Generator配置文件中，会设置不自动生成注释。带来的问题就是自动生成代码之后，我们还要自己去类文件中把注释加上，如果生成的类较少还好，如果有生成...