前言本文对 Elasticsearch 7.17 适用节点角度查看节点 segment 情况（官方文档） {代码...} 查看节点线程配置（官方文档） {代码...} 配置节点上段合并的线程数（elasticsearch.yml）（官方文档） {代码...} 索引角度查看索引 index segment 情况（官方文档） {代码...} 查看索引 cat segment 情况（官方文档） {代码......

前言本文的 Python 3.8 适用截至 2021.4.14，functools.lru_cache 和 cachetools 都不支持异步函数的缓存（async）functools.lru_cache官方标准库： functools.lru_cache给 lru_cache 增加生命周期管理： [链接]cachetoolspypi: [链接]github: [链接]文档： [链接]cachetools v4.2.1 已实现缓存机制 {代码...} qbit snap

本文对 MongoDB 4.4 试用大量数据同步: Resync a Member of a Replica Set修改 oplog 大小: replSetResizeOplog {代码...} 修改副本同步写入的线程数，以加速同步： replWriterThreadCount {代码...} 查看线程数是否设置成功 {代码...} 本文出自 qbit snap

启用 elasticsearch 模块（elasticsearch.yml.disabled -> elasticsearch.yml）

前言本文对 MongoDB 4.4 适用过程记录使用 MongoDB 做分组统计查询很慢，语句如下 {代码...} 使用 explain 函数查看，发现 year 字段并没有走索引 {代码...} 查资料并验证，在 group 前加 sort 即可大大提速。官方文档：[链接] {代码...} 本文出自 qbit snap

关于连接对象 MongoClient：使用 MongoClient 对象连接到 MongoDB 实例时总是应该保证它单例，并且在整个生命周期中都从它获取其他操作对象。

前言在 Ubuntu 20.04 上把新增的两块 SSD 硬盘配置为一个逻辑卷操作步骤创建物理卷 PV（Physical Volume） {代码...} 查看 PV {代码...} 创建卷组 VG（Volume Group） {代码...} 查看 VG {代码...} 将 VG 分配到一个 LV（Logical Volume） {代码...} 查看 LV {代码...} 创建 XFS 文件系统 {代码...} 创建 /data 目录 {代...

前言有一台单实例 MongoDB 服务器已经运行半年了，需要将其扩展为副本集3 台服务器的操作系统均为 Ubuntu 20.043 台服务器的 MongoDB 版本均为 4.4扩展示意图操作步骤备份 mongo0 上的数据修改配置文件 /etc/mongod.conf，官方文档： [链接] {代码...} 创建目录，并修改所有者 {代码...} 生成密钥文件，分发到各机器。官...

前言本文测试环境为 Ubuntu Server 20.04 LTS本文根据这篇文章整理： [链接]在线下载下载 {代码...} 打包 {代码...} 离线安装解压 {代码...} 安装 {代码...} 本文出自 qbit snap

业务需要将 Elasticsearch 快照到 AWS S3，再将快照拷贝到 Windows 系统，并恢复到 Elasticsearch。如下图所示：

已将 Windows 的 //172.31.19.143/es_snapshot 共享目录挂载到 ES 服务器的 /mnt/winshare 目录

本文实验环境中，Windows 操作系统版本为 Windows Server 2016，应该对 Windows 10 和 Windows Server 2019 同样适用

背景说明本文对 Elasticsearch 7.13 适用分片的速度与进度修改副本数 {代码...} 分片的速度cluster.routing.allocation.node_concurrent_recoveries {代码...} indices.recovery.max_bytes_per_sec {代码...} 上面两个参数都可以在集群配置里面查到 {代码...} 调整速度 {代码...} 分片的进度 {代码...} {代码...} 快照的...

环境 {代码...} 步骤安装 JupyterLab {代码...} 生成配置文件 {代码...} 编辑配置文件 C:\Users\qbit\.jupyter\jupyter_lab_config.py {代码...} 创建启动快捷方式 {代码...} 双击 JupyterLocalInit 启动快捷方式可以用这个图片 {代码...} 给 JupyterLab 添加 pyspark 环境（胡乱插入：）） {代码...} 本文出自 qbit snap

前言本文对 Elasticsearch 7.10 适用Elasticsearch 7.10 对应 Lucene 8.7Lucene 8.7 关于扩展名的官方文档 [链接]相关阅读elasticsearch 百亿级数据检索案例与原理Day 7 - Elasticsearch中数据是如何存储的A Dive into the Elasticsearch Storage某分片索引文件列表片段 {代码...} 几种索引的文件体积片段ES 查询过程用...

前言测试环境 {代码...} Python 3.8 多进程官方文档: [链接]loguru 0.5.3 不是多进程安全的，正好可以用来做多进程与锁的测试参考文章： Python sharing a lock between processes代码与说明无锁多进程代码 {代码...} 运行结果（乱）multiprocessing.Lock代码 {代码...} 运行结果（报错）报错的原因是 multiprocessing.L...

引子本文对 Elasticsearch 7.13 适用正确关机是为了防止数据丢失或集群混乱（如脑裂），也可避免无意义的重新分片官方文档： [链接]方式一所有 master 机器配置 recover 策略，示例如下 {代码...} 临时禁用 shard 分配（重启后自动失效） {代码...} 将所有数据落盘 {代码...} 关机开机方式二（推荐）禁用副本 shard 分配...

背景简介本文针对集群重启分片长期分配不出去的问题（CLUSTER_RECOVERED）本文 ES 版本为 7.10.1本文集群有 3 个主节点，3 个协调节点，20 个数据节点解决方案官方文档： [链接]在每个 master 节点的 elasticsearch.yml 中增加或修改集群配置 {代码...} 本文出自 qbit snap

Releases：[链接]某个目录右键打开cmder {代码...} 如果 cmder 提示缺少 api-ms-win-crt-runtime-l1-1-0.dll，安装 vc2015运行时 即可。汉字重叠：settings -> Main，取消“Monospace”。添加别名：编辑config/aliases文件。例如： {代码...} 1.3.x版本中文乱码：settings -> Startup -> Environment。 {代码...}...

Ubuntu/CentOS 通用这种方式对 Ubuntu 20.04/CentOS 7 有效在 ~/.bashrc 中追加如下内容 {代码...} Ubuntu 专用对 Ubuntu 20.04 适用 {代码...} 本文出自 qbit snap

相关网址Ansible github: [链接]Ansible 官方文档: [链接]配置 ssh 免密登录将公钥传送到 ssh 被控服务器主控端配置（配好后用 ssh node01 测试）vim ~/.ssh/config {代码...} 基本命令ping {代码...} 执行 shell 命令 {代码...} 执行脚本 {代码...} Ansible 配置 Elasticsearch环境 {代码...} 资产清单（Inventory）cat...

Unassigned shards查看原因cat shards {代码...} Cluster allocation explain API {代码...} 查看磁盘水位线 {代码...} 重新分配尝试重新分配 {代码...} 修改索引副本数 {代码...} 本文出自 qbit snap

现象（We couldn't activate monitoring）排查 {代码...} 修改集群配置 {代码...} 检查集群是否至少有一个具有ingest 身份的节点本文出自 qbit snap

环境硬件在亚马逊云（AWS）中国区ES 节点硬件：3 台 AWS m5.4xlarge（16 vCPU/64GB 内存）Kibana 硬件：1 台 AWS m5.large（2 vCPU/8GB 内存）操作系统：Ubuntu 20.04 LTSElasticsearch 7.9.3Kibana 7.9.3机器示意图操作系统这里主要讲 EBS 的挂载和 XFS 格式化可参考官方文档： [链接]用 lsblk 命令查看磁盘概况：32G ...

有一批文献，作者ID（user_id）是多值，传入一批 user_id，每个 user_id 取一篇文献出来。如上图，想要取 user_id 包含 222、444 的文献各一篇。

python-stdnum可校验 issn/isbn 等多种号码校验 issn {代码...} 校验 isbn {代码...} isbnlibisbnlib 是 isbntools 的内核校验 isbn10 {代码...} 校验 isbn13 {代码...} Java 版本的校验库ISSNValidator [链接]ISBNValidator [链接]本文出自 qbit snap

阿里云合作伙伴： [链接]腾讯云生态合作伙伴： [链接]本文出自 qbit snap

截至 2020.11.17，SystemD 早已战胜 upstart 成为 SystemV 的接任者。CentOS 7/8、Ubuntu 18.04/20.04 LTS 默认配置都是 SystemD。

名词解释Yum {代码...} DNF {代码...} CentOS7 更换 Yum 源备份 {代码...} 下载（阿里云 Yum 源） {代码...} 更新缓存 {代码...} CentOS8 更换 Yum 源备份 {代码...} 下载（阿里云 Yum 源） {代码...} 更新缓存 {代码...} 安装 epel {代码...} 替换 epel 文件中的 url（可选） {代码...} 查看 epel {代码...} 安装 htop ...

问题描述Elasticsearch 聚合数据结果不精确，怎么破？解决方案调大 shard_size临时调大 search.max_buckets {代码...} 永久调大 {代码...} 本文出自 qbit snap