Ansible Tips(qbit)

2020-12-28
阅读 3 分钟
1.7k
相关网址Ansible github: [链接]Ansible 官方文档: [链接]配置 ssh 免密登录将公钥传送到 ssh 被控服务器主控端配置(配好后用 ssh node01 测试)vim ~/.ssh/config {代码...} 基本命令ping {代码...} 执行 shell 命令 {代码...} 执行脚本 {代码...} Ansible 配置 Elasticsearch环境 {代码...} 资产清单(Inventory)cat...

Elasticsearch 7.x 分片问题(qbit)

2020-12-21
阅读 1 分钟
1.3k
Unassigned shards查看原因cat shards {代码...} Cluster allocation explain API {代码...} 查看磁盘水位线 {代码...} 重新分配尝试重新分配 {代码...} 修改索引副本数 {代码...} 本文出自 qbit snap

Elasticsearch 7.x 在 Kibana 中看不到监控信息(qbit)

2020-12-21
阅读 1 分钟
4.7k
现象(We couldn't activate monitoring)排查 {代码...} 修改集群配置 {代码...} 检查集群是否至少有一个具有ingest 身份的节点本文出自 qbit snap

Ubuntu 20.04 搭建 Elasticsearch 7.x 小集群(qbit)

2020-12-13
阅读 4 分钟
5.5k
环境硬件在亚马逊云(AWS)中国区ES 节点硬件:3 台 AWS m5.4xlarge(16 vCPU/64GB 内存)Kibana 硬件:1 台 AWS m5.large(2 vCPU/8GB 内存)操作系统:Ubuntu 20.04 LTSElasticsearch 7.9.3Kibana 7.9.3机器示意图操作系统这里主要讲 EBS 的挂载和 XFS 格式化可参考官方文档: [链接]用 lsblk 命令查看磁盘概况:32G ...

Elasticsearch 7.x 中 msearch 使用案例

2020-12-13
阅读 1 分钟
3.9k
有一批文献,作者ID(user_id)是多值,传入一批 user_id,每个 user_id 取一篇文献出来。如上图,想要取 user_id 包含 222、444 的文献各一篇。

ISSN/ISBN 校验(qbit)

2020-12-02
阅读 1 分钟
1.6k
python-stdnum可校验 issn/isbn 等多种号码校验 issn {代码...} 校验 isbn {代码...} isbnlibisbnlib 是 isbntools 的内核校验 isbn10 {代码...} 校验 isbn13 {代码...} Java 版本的校验库ISSNValidator [链接]ISBNValidator [链接]本文出自 qbit snap

云厂商的一些信息(qbit)

2020-11-29
阅读 1 分钟
2.2k
阿里云合作伙伴: [链接]腾讯云生态合作伙伴: [链接]本文出自 qbit snap

systemd 与 runlevel

2020-11-27
阅读 1 分钟
1.5k
截至 2020.11.17,SystemD 早已战胜 upstart 成为 SystemV 的接任者。CentOS 7/8、Ubuntu 18.04/20.04 LTS 默认配置都是 SystemD。

CentOS 的 YUM 与 DNF(qbit)

2020-11-26
阅读 2 分钟
2.1k
名词解释Yum {代码...} DNF {代码...} CentOS7 更换 Yum 源备份 {代码...} 下载(阿里云 Yum 源) {代码...} 更新缓存 {代码...} CentOS8 更换 Yum 源备份 {代码...} 下载(阿里云 Yum 源) {代码...} 更新缓存 {代码...} 安装 epel {代码...} 替换 epel 文件中的 url(可选) {代码...} 查看 epel {代码...} 安装 htop ...

简单处理 Elasticsearch terms 聚合不精确问题(qbit)

2020-11-19
阅读 1 分钟
1.8k
问题描述Elasticsearch 聚合数据结果不精确,怎么破?解决方案调大 shard_size临时调大 search.max_buckets {代码...} 永久调大 {代码...} 本文出自 qbit snap

查看 Elasticsearch 的 Cache 占用(qbit)

2020-11-19
阅读 1 分钟
4.2k
引子常说要留一半以上的内存给 ES 的 cache,那么怎样查看 ES 占用的 cache 的大小?(干货 | 吃透Elasticsearch 堆内存)实践环境介绍 {代码...} ES api 查看查看帮助 {代码...} 查看堆内存使用情况 {代码...} {代码...} 查看机器内存使用情况 {代码...} {代码...} Linux 工具查看htop 查看(11259 为 ES 进程 ID) {代...

esrally 离线测试(qbit)

2020-11-18
阅读 40 分钟
2.2k
测试环境 {代码...} 安装使用 pip3 安装 esrally {代码...} 查看版本 {代码...} 出现以下界面即安装成功esrally --version下载测试数据集官网项目地址 [链接]从/home/qbit/.rally/benchmarks/tracks/default/download.sh)中可以看到测试数据集存放在 AWS 的 [链接] 路径下。上面的目录并不能直接访问,我们需要研究里面...

配置最简单 systemd 开机启动脚本

2020-11-17
阅读 1 分钟
10.6k
截至 2020.11.17,SystemD 早已战胜 upstart 成为 SystemV 的接任者。CentOS 7/8、Ubuntu 18.04/20.04 LTS 默认配置都是 SystemD。

使用 nginx 快速搭建 elasticsearch ik 远程词典服务

2020-10-22
阅读 2 分钟
2.4k
es 配置IK Dictionary Configuration {代码...} 第一次配置需要重启 ES注意:如果文件服务器做了高可用或负载均衡,etag 返回值可能会轮换,使得词典文件被不断 reload测试环境Windows 10nginx 1.18.0步骤解压下载的压缩包,在里面新建 dic 目录编辑 conf 下的配置文件 nginx.conf {代码...} 只在默认配置文件中加了下面...

k8s 常用命令(qbit)

2020-10-13
阅读 4 分钟
1.5k
帮助 {代码...} 版本信息 {代码...} 显示集群信息(查看 master 节点) {代码...} 查看节点列表 {代码...} 查看所有 pod 和 namespace {代码...} 列出所有 node 和 pod {代码...} 查看某个 pod 里面的容器 {代码...} 列出某个容器里面的目录 {代码...} 删除容器里面的文件 {代码...} 创建目录 {代码...} 拷贝文件到容器...

Elasticsearch 推荐相关(qbit)

2020-09-21
阅读 1 分钟
1.3k
High-Quality Recommendation Systems with Elasticsearch使用 ElasticSearch 实现高质量的推荐系统Significant Terms Aggregation(Elastic 官方)Elasticsearch:significant terms aggregation(博客园)Elasticsearch:significant terms aggregation(Elastic 中国社区官方博客)本文出自 qbit snap

Elasticsearch 7.x 配置同义词(qbit)

2020-09-04
阅读 3 分钟
4.2k
前言推荐学习阮一鸣《Elasticsearch 核心技术与实战》本文对 Elasticsearch 7.17 适用,官方文档:[链接]同义词可以再建索引时(index-time synonyms)或者检索时(search-time synonyms)使用,一般在检索时使用本文介绍的是 search-time synonyms同义词文档格式单向同义词 {代码...} 双向同义词 {代码...} 试验步骤添...

Python 给图片补边(qbit)

2020-09-02
阅读 1 分钟
4.5k
前言本文主要是为了给宽图片上下补边试验环境 {代码...} 代码 {代码...} 示例输入图片样例(点击图片查看边框)输出图片样例(点击图片查看边框)相关阅读Python 去除图片纯色边框本文出自 qbit snap

配置 Hue 访问 AWS S3 中国区(qbit)

2020-07-18
阅读 1 分钟
3.4k
Hue: Hadoop User Experience环境 {代码...} qbit 参照这两篇 Hue 官方文档搞了很久都没配好:文档一,文档二文档编写者估计没考虑到独立运营的 AWS 中国区用户的痛搞明白了也简单,就是在官方文档的基础上还得配置 host 参数摘录配置如下 {代码...} 上面的配置一般通过 config.json 配置,不必登录到具体 EC2 上操作。...

Windows 下运行 Hadoop 并部署到 AWS(qbit)

2020-07-08
阅读 9 分钟
1.9k
本文环境 {代码...} 单机程序 新建 Maven 工程 修改 pom.xml 配置 {代码...} 新建 Package 和 Java Class 从官方拷贝代码到 WordCount.java {代码...} 将文本文件 demo.txt 放到 pom.xml 同级目录 添加运行配置 点击运行,报如下错误 {代码...} 到官网下载并解压 hadoop-2.8.5.tar.gz 下载 winutils/hadoop-2.8.5/,将 b...

Python 去除图片纯色边框(qbit)

2020-06-15
阅读 2 分钟
5k
前言本文主要参照 Trim whitespace using PIL试验环境 {代码...} 除了 Pillow 以外,qbit 还尝试了 skimage 和 opencv-python,效果不比 Pillow 好,且用法复杂很多PillowPillow 文档: [链接] {代码...} 调整尺寸 {代码...} 输入图片样例(点击图片查看边框)输出图片样例(点击图片查看边框)ImageMagick使用 ImageMag...

Windows 原生 SSH 配置(qbit)

2020-06-14
阅读 2 分钟
2.3k
前言 操作系统版本 {代码...} ssh 目录 {代码...} 直接登录 {代码...} 免密登录 证书生成 生成 {代码...} 查看 {代码...} 拷贝公钥到服务器 在服务器创建目录 {代码...} 在 Windows 10 上使用 scp 命令上传公钥 {代码...} 将公钥追加到 authorized_keys 文件 {代码...} ssh 客户端配置文件 在 C:\Users\qbit\.ssh 目录下...

Windows Terminal 配置(qbit)

2020-06-14
阅读 1 分钟
2.1k
本文的配置文件为 C:\Users\qbit\AppData\Local\Packages\Microsoft.WindowsTerminal_8wekyb3d8bbwe\LocalState\settings.json

Ubuntu 20.04 LTS 挂载硬盘(qbit)

2020-06-04
阅读 1 分钟
28.9k
背景机器上有两块硬盘:一块 256GB 的 SSD,一块 4TB 的机械硬盘原来装的 Windows 系统,改为装 Ubuntu 20.04 LTS,SSD 作为系统盘已装好查看磁盘信息 {代码...} 删除机械硬盘的 Windows 分区 {代码...} 将机械硬盘格式化为 ext4 {代码...} 挂载机械硬盘 {代码...} 设置开机自动挂载fstab中 每个字段代表的含义在 /etc/f...

ip route 命令(qbit)

2020-05-26
阅读 2 分钟
14k
前言iproute2 的 ip route 命令对标 net-tools 的 route 命令,可参考 iproute2 tips路由表(ip rule)查看路由表 {代码...} 删除一个路由表 {代码...} 添加路由表 {代码...} 路由(ip route)显示路由 {代码...} 查看指定网段的路由 {代码...} 删除接口路由 {代码...} 查看本地静态路由 {代码...} 查看直连路由 {代码.....

关于 Ubuntu 20.04 LTS 的网络(dchp/dns/route/PPPoE)

2020-05-26
阅读 4 分钟
18.1k
前言旧时代网络管理软件 net-tools、NetworkManager新时代网络管理软件 iproute2、resolvectl新时代旧时代大致可按 2010 年划分检查网卡是否已插入网线直接查看文件 {代码...} ip addr 或 ip link 命令查看网卡状态mii-tool {代码...} ip link {代码...} 查看物理网卡 ip在安装 docker 后,ip addr 显示的地址太多,想要...

Ubuntu 20.04 LTS 安装 docker(qbit)

2020-05-26
阅读 2 分钟
4.4k
docker 在发展中产生了很多的名字(docker/docker.io/docker-engine ),当前(2020/5/26)软件包名为 docker-ce(Docker Engine-Community)。可以尝试清理旧版软件:

Elasticsearch 查询权重(qbit)

2020-05-20
阅读 3 分钟
4.2k
前言本文对 Elasticsearch 7.17 适用提升字段的权重multi_match默认 type 为 best_fields {代码...} most_fields {代码...} query_string {代码...} simple_query_string {代码...} 提升子句的权重bool 查询 {代码...} 提升索引的权重indices_boost {代码...} Function score queryElasticSearch 相关性打分机制年份越大...

用 MongoDB 存放图片(qbit)

2020-05-20
阅读 2 分钟
2.6k
环境 {代码...} bson(小图片) bson 用来存放小于 16MB 的小文件 Python 示例代码 {代码...} {代码...} {代码...} GridFS(大图片) GridFS 用来存放大于 16 MB 的大文件 本文出自 qbit snap

MongoDB 语句备忘(qbit)

2020-05-19
阅读 1 分钟
1.3k
查询一个字段有哪几种取值 {代码...} {代码...} 取字段的前 2 位并去重 {代码...} {代码...} 统计一个字段的几种取值,并按统计量降序排列。 {代码...} {代码...} 本文出自 qbit snap