官方文档：[链接]poetry 查看配置项 {代码...} 修改缓存目录 {代码...} 将虚拟目录放在项目内 {代码...} 发现 pyenv 等虚拟环境的 python 解释器 {代码...} 软件包国内镜像（pyproject.toml） {代码...} {代码...} 指定特定平台（linux）的第三方包 {代码...} poetry 导出 requirements.txt {代码...} 本文出自 qbit snap

用户画像到底是什么？它是对用户信息的向量化表示，就是 User Profile，俗称“用户画像”。用户画像不是推荐系统的目的，而是在构建推荐系统的过程中产生的一个关键环节的副产品。构建用户画像需要下面两个步骤。

es 配置IK Dictionary Configuration {代码...} 不能热词更新，每次修改词典都需要重启 ES热词更新参见 使用 nginx 快速搭建 elasticsearch ik 远程词典服务Kibana 测试 {代码...} 本文出自 qbit snap

io.StringIO/io.BytesIO官方文档： [链接]tempfile.TemporaryFile/tempfile.TemporaryDirectory官方文档： [链接]示例 {代码...} pyfilesystem官方文档： [链接]本文出自 qbit snap

互联网的出现和普及给用户带来了大量的信息，满足了用户在信息时代对信息的需求，但随着网络的迅速发展而带来的网上信息量的大幅增长，使得用户在面对大量信息时无法从中获得对自己真正有用的那部分信息，对信息的使用效率反而降低了，这就是所谓的信息超载（information overload）问题。

前言本文对 Elasticsearch 7.x 有效query_string 保留字符官方文档： [链接] {代码...} 在 query_string 里面做通配符匹配时，空格需要转义regex 保留字符官方文档：[链接] {代码...} query_string 与 regex 保留字符并集 {代码...} {代码...} 本文出自 qbit snap

命令行（cmd） {代码...} 注意，这种方式可能与gui并不同步。如果实在实在无法切换用户，可以在服务端的session里面中断相应会话。

前言本文在 Ubuntu 20.04 下测试查看缓存fincore查看单个文件有多大在缓存中 {代码...} 查看目录下所有文件有多大在缓存中 {代码...} 递归查看目录下所有文件的缓存情况 {代码...} vmtouch查看单个文件有多大在缓存中 {代码...} 查看目录下所有文件有多大在缓存中 {代码...} pcstat未尝试，[链接]hcache未尝试，[链接]本...

试验开始使用的 MySQL 8 作为数据库，截至 2021.5.13，airflow 2.0.2 的这个问题未解决，所以转为使用 PostgreSQL 12

前言两台 Ubuntu 20.04 的服务器，分别用作 server 和 client主要参照：[链接]NFS Server 配置安装软件 {代码...} 创建共享目录 {代码...} 修改共享目录的 owner 和读写权限 {代码...} 编辑 /etc/exports，修改共享目录对客户端的权限 {代码...} 重启服务使配置生效 {代码...} NFS Client 配置安装软件 {代码...} 创建挂...

本文测试环境 {代码...} 命令 {代码...} 这些方法也可用于清空 tomcat 的 catalina.out本文出自 qbit snap

前言本文测试环境为 CentOS 7CentOS7 自带的 squid3，squid4 可以按这里的方法安装：[链接]离线包安装根据这篇文章整理： [链接]在线下载创建两个空目录 {代码...} 下载 {代码...} 打包 {代码...} 离线安装解压 {代码...} 安装 {代码...} 本文出自 qbit snap

ES VS CK，成本太高，效率太低？不存在的大数据东风下，Clickhouse这坨屎是怎么上天的DB-Engines Ranking 数据库排名本文出自 qbit snap

前言本文对 Elasticsearch 7.17 适用Elasticsearch 主要有 3 种缓存：fields cache、query cache、request cache3 种 cache 的配置状况都可以用命令查看 {代码...} Field Data Cache官方文档：Field data cache settingsField data cache 包含 fielddata 和 global ordinals，两者都主要用于聚合。fielddata 和 doc_valu...

PEP 440: [链接]出处: [链接]OperatorDescriptionExample>Any version greater than the specified version.>3.1: any version greater than 3.1.<Any version less than the specified version.<3.1: any version less than 3.1.<=Any version less than or equal to the specified version.<=3.1: a...

前言本文对 Elasticsearch 7.17 适用节点角度查看节点 segment 情况（官方文档） {代码...} 查看节点线程配置（官方文档） {代码...} 配置节点上段合并的线程数（elasticsearch.yml）（官方文档） {代码...} 索引角度查看索引 index segment 情况（官方文档） {代码...} 查看索引 cat segment 情况（官方文档） {代码......

前言本文的 Python 3.8 适用截至 2021.4.14，functools.lru_cache 和 cachetools 都不支持异步函数的缓存（async）functools.lru_cache官方标准库： functools.lru_cache给 lru_cache 增加生命周期管理： [链接]cachetoolspypi: [链接]github: [链接]文档： [链接]cachetools v4.2.1 已实现缓存机制 {代码...} qbit snap

本文对 MongoDB 4.4 试用大量数据同步: Resync a Member of a Replica Set修改 oplog 大小: replSetResizeOplog {代码...} 修改副本同步写入的线程数，以加速同步： replWriterThreadCount {代码...} 查看线程数是否设置成功 {代码...} 本文出自 qbit snap

启用 elasticsearch 模块（elasticsearch.yml.disabled -> elasticsearch.yml）

前言本文对 MongoDB 4.4 适用过程记录使用 MongoDB 做分组统计查询很慢，语句如下 {代码...} 使用 explain 函数查看，发现 year 字段并没有走索引 {代码...} 查资料并验证，在 group 前加 sort 即可大大提速。官方文档：[链接] {代码...} 本文出自 qbit snap

关于连接对象 MongoClient：使用 MongoClient 对象连接到 MongoDB 实例时总是应该保证它单例，并且在整个生命周期中都从它获取其他操作对象。

前言在 Ubuntu 20.04 上把新增的两块 SSD 硬盘配置为一个逻辑卷操作步骤创建物理卷 PV（Physical Volume） {代码...} 查看 PV {代码...} 创建卷组 VG（Volume Group） {代码...} 查看 VG {代码...} 将 VG 分配到一个 LV（Logical Volume） {代码...} 查看 LV {代码...} 创建 XFS 文件系统 {代码...} 创建 /data 目录 {代...

前言有一台单实例 MongoDB 服务器已经运行半年了，需要将其扩展为副本集3 台服务器的操作系统均为 Ubuntu 20.043 台服务器的 MongoDB 版本均为 4.4扩展示意图操作步骤备份 mongo0 上的数据修改配置文件 /etc/mongod.conf，官方文档： [链接] {代码...} 创建目录，并修改所有者 {代码...} 生成密钥文件，分发到各机器。官...

前言本文测试环境为 Ubuntu Server 20.04 LTS本文根据这篇文章整理： [链接]在线下载下载 {代码...} 打包 {代码...} 离线安装解压 {代码...} 安装 {代码...} 本文出自 qbit snap

业务需要将 Elasticsearch 快照到 AWS S3，再将快照拷贝到 Windows 系统，并恢复到 Elasticsearch。如下图所示：

已将 Windows 的 //172.31.19.143/es_snapshot 共享目录挂载到 ES 服务器的 /mnt/winshare 目录

本文实验环境中，Windows 操作系统版本为 Windows Server 2016，应该对 Windows 10 和 Windows Server 2019 同样适用

背景说明本文对 Elasticsearch 7.13 适用分片的速度与进度修改副本数 {代码...} 分片的速度cluster.routing.allocation.node_concurrent_recoveries {代码...} indices.recovery.max_bytes_per_sec {代码...} 上面两个参数都可以在集群配置里面查到 {代码...} 调整速度 {代码...} 分片的进度 {代码...} {代码...} 快照的...

环境 {代码...} 步骤安装 JupyterLab {代码...} 生成配置文件 {代码...} 编辑配置文件 C:\Users\qbit\.jupyter\jupyter_lab_config.py {代码...} 创建启动快捷方式 {代码...} 双击 JupyterLocalInit 启动快捷方式可以用这个图片 {代码...} 给 JupyterLab 添加 pyspark 环境（胡乱插入：）） {代码...} 本文出自 qbit snap

前言本文对 Elasticsearch 7.10 适用Elasticsearch 7.10 对应 Lucene 8.7Lucene 8.7 关于扩展名的官方文档 [链接]相关阅读elasticsearch 百亿级数据检索案例与原理Day 7 - Elasticsearch中数据是如何存储的A Dive into the Elasticsearch Storage某分片索引文件列表片段 {代码...} 几种索引的文件体积片段ES 查询过程用...