Elasticsearch 参考指南(Flush)
flush API允许通过API flush一个或多个索引,索引的flush过程基本上通过将数据刷新到索引存储并清除内部事务日志来从索引中释放内存,默认情况下,Elasticsearch使用内存启发式方法,以便根据需要自动触发flush操作以清除内存。
2018-09-14
数据库索引原理及优化
本文以MySQL数据库为研究对象,讨论与数据库索引相关的一些话题。特别需要说明的是,MySQL支持诸多存储引擎,而各种存储引擎对索引的支持也各不相同,因此MySQL数据库支持多种索引类型,如BTree索引,哈希索引,全文索引等等。为了避免混乱,本文将只关注于BTree索引,因为这是平常使用MySQL时主要打交道的索引,至于哈...
2021-03-28
从 Elasticsearch 到 Apache Doris,构建 10 倍性价比提升的新一代日志存储分析平台
日志数据的处理与分析是最典型的大数据分析场景之一,过去业内以 Elasticsearch 和 Grafana Loki 为代表的两类架构难以同时兼顾高吞吐实时写入、低成本海量存储、实时文本检索的需求。Apache Doris 借鉴了信息检索的核心技术,在存储引擎上实现了面向 AP 场景优化的高性能倒排索引,对于字符串类型的全文检索和普通数值...
2023-05-06
深入理解MySQL索引底层数据结构
在日常工作中,我们会遇见一些慢SQL,在分析这些慢SQL时,我们通常会看下SQL的执行计划,验证SQL执行过程中有没有走索引。通常我们会调整一些查询条件,增加必要的索引,SQL执行效率就会提升几个数量级。我们有没有思考过,为什么加了索引就会能提高SQL的查询效率,为什么有时候加了索引SQL执行反而会没有变化,本文就从...
如何通过CRM系统获取更多销售线索?
线索生成是一个术语,包含了所有用于捕获可转化为客户的高质量线索的努力。强大的线索生成CRM解决方案可以通过从多个来源收集线索并跟踪他们在销售漏斗中的动向来帮助企业做到这一点。
2023-04-06
Elasticsearch数据库优化实战:让你的ES飞起来
Elasticsearch主要功能是什么,不同的场景有不同的定位,在日志场景我们可以用ELK生态搭建日志分析系统,在搜索领域ES是当前最热门的搜索引擎。在大数据领域,ES可以对标Hbase提供海量日志的数据仓库;在数据库领域ES可以作为查询分析型的分析型数据库使用。ES已经成为了全能型的数据产品,在很多领域越来越受欢迎,本文...
2021-05-18
三道MySQL联合索引面试题,淘汰80%的面试者,你能答对几道
众所周知MySQL联合索引遵循最左前缀匹配原则,在少数情况下也会不遵循(有兴趣,可以翻一下上篇文章)。创建联合索引的时候,建议优先把区分度高的字段放在第一列。至于怎么统计区分度,可以按照下面这种方式。创建一张测试表,用来测试: {代码...} 统计每个字段的区分度: {代码...} 值越大,区分度越高,优先放在第一...
2022-08-23
SIEM之基于Splunk的日志监控
Splunk是一个功能强大的机器数据分析平台,包括机器数据的收集、索引、搜索、监控、可视化和告警等。另一方面来说,Splunk是一个时间序列索引器,因为Splunk索引数据的时候,是基于数据时间戳把数据拆分成事件。
2021-09-01
MySQL执行计划【explain】
本文已经收录到github仓库,仓库用于分享Java相关知识总结,包括Java基础、MySQL、Springboot、mybatis、Redis、rabbitMQ等等,欢迎大家提pr和star!github地址:[链接]gitlab地址:[链接]
【mysql】索引优化
查询优化: {代码...} 索引失效的情况: {代码...} 为什么推荐使用NOT NULL 允许为null的列,查询有潜在大坑。 1.null字段的数据,只能通过 is null查询出来 2.当用count函数进行统计时,NULL 列不会计入统计。 SELECT count(name) from t 而且,null是一个属性,额外占有1个字节 分页查询优化: {代码...} mysql 底层是...
2020-06-04
一篇就懂,230页Elasticsearch大数据搜索引擎解读PDF
智慧生物的大规模协作造就了惊人的进化奇迹。大规模机器集群造就机器系统进化成为强大的智能系统。Elasticsearch作为大数据与搜索引擎技术的结合体,随着社会对大规模开源分布式搜索引擎的需求迅速成长。
2022-01-22
Spring Boot与检索
一、检索我们的应用经常需要添加检索功能,开源的 ElasticSearch 是目前全文搜索引擎的首选。他可以快速的存储、搜索和分析海量数据。Spring Boot通过整合Spring Data ElasticSearch为我们提供了非常便捷的检索功能支持;
2020-02-15
MySql 全文索引 导致查询效率问题
业务系统因需要提升查询效率,考虑使用全文索引进行查询,故建立全文索引全文索引建立后,使用索引查询效率明显提升,但是过了几天后,查询变得非常缓慢,查询一次数据需要10秒以上使用 alter table xxx engine=innodb 重建表之后,查询效率又恢复到刚建立索引时的速度通过 profile 发现,耗时主要消耗在 FULLTEXT initi...
2023-03-14
Mysql笔记2事务和索引
事务事务就是要保证一组数据库操作,要么全部成功,要么全部失败。在 MySQL 中,事务支持是在引擎层实现的。ACID(Atomicity、Consistency、Isolation、Durability,即原子性、一致性、隔离性、持久性)隔离性事务并发问题:脏读(dirty read):一个事务读取了其它事务update后未提交的数据。不可重复读(non-repeatabl...
2022-01-14
百度搜索重大改变!内容显示用户可选择媒体或百家号
浏览资讯发现,最近百度搜索资讯频道列表新添加了百家号作为信息来源,并且可以在媒体网站和百家号之间来回筛选切换,这样一搞,百家号就彻底的跟自然搜索区分开了,解决了很多站长抱怨的百家号占据搜索排名的展示问题,看来百度是在慢慢的回归搜索业务。百度搜索重大改变!内容显示用户可选择媒体或百家号 微新闻 第1张...
2019-06-25
Tensor 索引的使用指南&学习心得
本文章由飞桨PFCC社区成员卢畅贡献。卢畅,飞桨 PFCC 成员,飞桨开源之星,飞桨开发者专家(PPDE),长期参加飞桨黑客松、护航计划等开源活动,参与过飞桨执行器预分析性能优化、静态图自动并行架构升级等任务。本期分享的主题是Tensor索引。在深度学习的世界中,数据是一切算法和模型的基础。有效、高效地处理数据,特...
2024-07-16
谈谈中国第一款 AI 搜索产品 —— 天工 AI
从最初通过书籍资料进行搜索,变成互联网时代利用web网站进行搜索,再到移动互联网时代在社媒平台进行搜索,如今变成被火热讨论的新模态——利用AI进行搜索,不知不觉中人们的搜索习惯已经完成了多次跃迁。
2024-03-02