阿里云消息队列 Kafka-消息检索实践
本文章主要介绍消息队列使用过程中所遇到的消息丢失、重复消费等痛点问题的排查办法,以及消息队列 Kafka「检索组件」的场景实践,并对其关键技术进行解读。旨在帮助大家对消息队列 Kafka「检索组件」的特点和使用方式更加熟悉,以更有效地解决消息排查过程中所遇到的问题。
2022-07-26
Elasticsearch搜索过程详解
前言 说明:本文章使用的ES版本是:6.7.0 在上一篇文章Elasticsearch如何创建索引?中,介绍了ES写入文档的过程。 接下来我们具体的看一下ES中,搜索过程是怎样的 在ES中搜索 按照前面几篇文章的步骤,我们直接开始debug搜索的过程。上一篇文章中我们写入了如下的数据 {代码...} 现在执行如下请求,对ES服务器发起搜索请...
Mysql索引优化(一)_索引类型(索引策略)
现在我们要根据学生成绩查询学生姓名,这是一个很简单的查询。select first_name,last_name from student where score=99;这条sql就使用到了索引score。但是我们通常会看到很多查询不恰当的使用到索引,最后就导致mysql没办法使用到索引。如果查询中的不是独立的,则Mysql不会使用到索引,独立的列是指索引列不能是表达...
Elasticsearch系列---初识搜索
概要 本篇主要介绍搜索的报文结构含义、搜索超时时间的处理过程,提及了一下多索引搜索和轻量搜索,最后将精确搜索与全文搜索做了简单的对比。 空搜索 搜索API最简单的形式是不指定索引和类型的空搜索,它将返回集群下所有索引的所有文档(默认显示10条): GET /_search 响应的结果示例(有筛选,只取了一条document作为...
2019-12-20
基于AI+数据驱动的慢查询索引推荐
目前,美团内部的日均慢查询数量已经超过上亿条,如何对对这些慢查询进行分析并建立合适的索引,是美团数据库研发中心面临的一项挑战。美团数据库平台研发组与华东师范大学展开了科研合作,通过基于AI+数据驱动的索引推荐,来与基于代价的方法并行地为慢查询推荐索引,以提升推荐效果。
APP搜索如何又快又准?
搜索无处不在,尤其是在移动互联的今天。无论是社交,电商,还是视频等APP中,搜索都已经在其中扮演了重要的角色。作为信息的入口,搜索能帮用户从海量信息中找到想要的信息。在APP搜索的典型场景如下:
[笔记] 深入理解 JavaScript Array.sort()
Array.sort() 方法排序,默认为升序排序,如 1,2,3,4 这样的排列,可以传一个对比方法做为排序的参数,也可以不传,则为按照字符的逐个 unicode 排序。
2017-07-16
MySQL索引、关联子查询与SQL语句的优化技巧
CDA数据分析师 出品 大家好,欢迎来到小编的MySQL课堂。今天我们一起来看一下MySQL中的索引、关联子查询以及语句的优化技巧。 一、MySQL的索引 数据库索引,是数据库管理系统中一个排序的数据结构,以协助快速查询数据库表中数据。 1、索引的意义 索引用于快速找出在某个字段中有特定值的行。如果不使用索引,MySQL必须...
2020-04-17
聚簇索引和非聚簇索引:Mysql为什么建议使用自增id做主键
通俗点讲一、‘页’和操作系统的关系①为什么要有内存管理?我们知道,一个进程完成他的功能,需要访问磁盘加载数据到内存然后等待进入cpu运算,因为数据量大小远远大于内存大小。因此提出虚拟内存概念。虚拟内存就是将程序用到的数据进行划分,暂时用不到的放到磁盘里,用到的放到内存里,操作系统中总是运行着不止一个进...
Github Page 搜索工具更新 -- 索引数量扩容
目前Github Page可以索引到的数量是两万多条(26863),随着访问者使用这个工具的次数,可索引到的Github Page数量也随之增加。Github Page官网可以检索到所有的搜索结果,但是每次可以查看到的搜索结果限制在1000个(具体测试过程可以参考这篇文章),因此本工具提供了一次可以获取到更多结果的方式。
2018-12-21
Windows.edb 占用C盘容量大的解决办法
Windows.edb 文件是Windows搜索服务(Windows Search)的数据库文件,主要用于搜索时的数据索引,让Windows搜索功能执行更快, 搜索用的越多, 此文件会越来越大
mysql索引失效的情况
我们先创建一个表:有 username、age、address 等字段, 并且建立了 (username)、(age,address)等字段
1071 - Specified key was too long; max key length is 767 bytes
背景:迁移数据库的过程中,导出的表在导入新的数据库时,出现错误。错误提醒翻译:指定的键太长;最大密钥长度为767字节原因:MySql索引长度有限制 {代码...}
2022-11-21
MySQL: 索引失效的几种情况
假如有这样一列code的值为'AAA','AAB','BAA','BAB' ,如果where code like '%AB'条件,由于前面是
2020-11-30
MySQL 索引单表查询优化案例
分析语句: {代码...} 创建三个字段的复合索引: {代码...} MySQL 无法利用索引对后面的 views 进行查找或排序,即range类型查询字段后面的索引无效。删除索引,重新创建两个字段的复合索引: {代码...} 类型变成了 ref ,并且无须使用文件排序。
2021-01-25
慢SQL排查二三事
慢SQL为什么会慢 一条查询SQL的执行过程 单表查询的访问方法 多表查询时连接的原理 慢SQL的解决方法 直接加索引 索引的分类 索引为什么会快 优化SQL,更好的利用索引
2020-06-28
收录量和索引量到底有什么区别
很多站长每天打开电脑的第一件事就是查看自己网站的数据,一般比较关注的就是收录量权重或者预计流量等这些基本问题。但是除了收录量意外我们还比较关注的就是索引量,很多站长其实并不知道收录量和索引量到底有什么区别,甚至有些站长认为收录量和索引量是两个一样的数值。关于这点我们可以用下面一张图来解释清楚:
2016-04-06