聊聊 Elasticsearch 中的任务管理机制

2022-12-11
阅读 8 分钟
2k
Elasticsearch 对外提供了一个 _tasks 接口,用于获取当前各个节点正在执行的任务,这里要避免和 pending_tasks 搞混,后者是用于获取在 master leader 节点排队等待修改 cluster state 的处理任务。

你真的知道如何查看 Elasticsearch 的 Debug 日志吗?!

2022-11-12
阅读 4 分钟
961
当我们遇到问题或者需要深入了解 Elasticsearch 的运行机制时,调整日志等级( logging level )到更详细的级别,比如 DEBUG、TRACE ,会是一个有效且必须要掌握的方法。

你看懂 Elasticsearch Log 中的 GC 日志了吗?

2018-09-22
阅读 8 分钟
10.5k
如果你关注过 elasticsearch 的日志,可能会看到如下类似的内容: {代码...} 看到其中的[gc]关键词你也猜到了这是与 GC 相关的日志,那么你了解每一部分的含义吗?如果不了解,你可以继续往下看了。 我们先从最简单的看起: 第一部分是日志发生的时间 第二部分是日志级别,这里分别是WARN和INFO 第三部分是输出日志的类...

ET001 不可不掌握的 Logstash 使用技巧

2018-07-21
阅读 2 分钟
5.3k
Logstash 是 Elastic Stack 中功能最强大的 ETL 工具,相较于 beats 家族,虽然它略显臃肿,但是强在功能丰富、处理能力强大。大家在使用的过程中肯定也体验过其启动时的慢吞吞,那么有什么办法可以减少等待 Logstash 的启动时间,提高编写其处理配置文件的效率呢?本文给大家推荐一个小技巧,帮助大家解决如下两个问题...

Elasticsearch snapshot 备份的使用方法

2018-05-31
阅读 4 分钟
13k
常见的数据库都会提供备份的机制,以解决在数据库无法使用的情况下,可以开启新的实例,然后通过备份来恢复数据减少损失。虽然 Elasticsearch 有良好的容灾性,但由于以下原因,其依然需要备份机制。

Elasticsearch如何实现SQL语句中 Group By 和 Limit 的功能

2018-05-21
阅读 7 分钟
27.3k
有 SQL 背景的同学在学习 Elasticsearch 时,面对一个查询需求,不由自主地会先思考如何用 SQL 来实现,然后再去想 Elasticsearch 的 Query DSL 如何实现。那么本篇就给大家讲一条常见的 SQL 语句如何用 Elasticsearch 的查询语言实现。

三步上手 esrally 完成 elasticsearch 压测任务

2017-11-12
阅读 2 分钟
7.5k
距离上一篇 esrally 教程过去快2个月了,这期间不停有同学来询问使用中遇到的问题,尤其由于其测试数据存储在国外 aws 上,导致下载极慢。为了让大家快速上手使用 esrally,我 build 了一个可用的 docker 镜像,然后将 13GB 的测试数据拉取到国内的存储上,通过百度网盘的方式分享给大家。大家只要按照下面简单的几步操...

elasticsearch index、create和update的源码分析

2017-09-20
阅读 4 分钟
10.5k
执行 bulk 索引文档的时候,用 index 或者 create 类型并且自定义 doc id 的情况下,是否会像 update 一样每次都要去 get 一遍原始文档? 比如下面的这条命令:

Elasticsearch 压测方案之 esrally 简介

2017-09-14
阅读 15 分钟
37.8k
由于 Elasticsearch(后文简称es) 的简单易用及其在大数据处理方面的良好性能,越来越多的公司选用 es 作为自己的业务解决方案。然而在引入新的解决方案前,不免要做一番调研和测试,本文便是介绍官方的一个 es 压测工具 esrally,希望能为大家带来帮助。

最大文件打开数的正确修改姿势

2016-09-12
阅读 1 分钟
5.1k
前几天查看heka日志的错误日志的时候,发现报错信息 too many open files,很明显打开文件数过多了。 第一个问题来了,如何查看当前进程打开的文件数和最大打开文件数呢? 当前进程打开文件数 ls /proc/[pid]/fd|wc -l 当前进程最大打开文件数cat /proc/[pid]/limits|grep open 可以看到如下所示的输出: {代码...} 当前...

ssh登录的调试方法和常见问题

2015-04-13
阅读 2 分钟
15k
ssh登录服务器是程序猿日常生活必不可少的一部分,也时不时的会遇到自己配置ssh登录的问题,拿日常使用的git来讲,不管使用github也好,还是自己搭建的gitlab等等,如果不能很好的理解ssh的原理,极容易遇到各种问题。这篇文章就尝试向大家简单讲解下ssh的原理、调试方式和常见问题。这里要讲的主要是免密码登录,也就是...

计算机网络知识随记之基础篇

2015-02-05
阅读 7 分钟
8.3k
原文链接 本篇主要讲解网络的基础知识,从tcp/ip协议栈讲起,不会讲解的太深,权作自己的笔记,有问题的地方希望大家可以留言指出。 协议栈 这里主要讲解TCP/IP协议栈,不再讲解其与OSI协议栈的区别。 TCP/IP协议分为4层,由上至下为应用层、传输层、网络层和网络接口层。 应用层:定义上层应用可以直接使用的高级协议,...

IDEA集成xdebug远程调试功能

2015-02-01
阅读 3 分钟
13.7k
在使用php调试代码的时候,我通常都是使用简单暴力的echo之类的输出调试。这种调试方法的效率与个人能力正相关,你加一个echo多数是为了验证自己的一个推测,那么你对代码越熟悉,你推测的就会越准确,bug解决的就越快,相反则往往如无头苍蝇般,东一头西一头,不知所谓地输出一些无意义的调试信息,效率奇低。此时单步...

tcp自连接问题

2014-11-29
阅读 2 分钟
13.2k
今天在Segmentfault上有人提问了一个tcp自连接问题,这里记录下。所谓tcp自连接,就是出现源ip和源端口通目的ip和目的端口完全相同的情况,乍看起来不可思议,细细一想情理之中,本文重现下这种连接,并且说下解决思路。

Mysql备份和恢复的一种可行方案---Xtrabackup

2014-11-27
阅读 6 分钟
9.4k
关于Xtrabackup(又或innobackupex)的介绍这里就不啰嗦了,感兴趣的同学请移步官方文档,这里只要知道它提供了mysql备份和恢复的功能就可以了。