MongoDB 查看索引与存储大小（qbit）
2022-10-30
阅读 3 分钟
1.9k前言本文试验环境为 3 台机器的 MongoDB 副本集 {代码...} 官方文档：[链接]推荐学习 唐建法《MongoDB 高手课》一般建议单个副本集容量 2TB 左右，不应超过 3TB；内存应大于索引体积大小之和正文列出所有数据库 {代码...} 查看单个库的统计信息 {代码...} {代码...} 列出单库下的 collection {代码...} 单个 collection ...
yarl 对比 python3 标准库 urllib（qbit）
2022-10-24
阅读 3 分钟
1.3k前言测试环境 {代码...} 本文主要是对比易用性，无关性能yarl 官方文档：[链接]url 组成部分yarl VS. urllib获取 url 参数urllib {代码...} 如果你还想问为什么没有 urldecode，把上面的示例看五遍。^_^yarl {代码...} 解析 url 的 query stringurllib {代码...} yarl {代码...} encode 编码urllib {代码...} yarl {代码...
机器学习实战步骤（qbit）
2022-10-09
阅读 2 分钟
1.8k机器学习的厉害之处就在于，它能利用计算机的运算能力，从大量的数据中发现一个“函数”或“模型”，并通过它来模拟现实世界事物间的关系，从而实现预测、判断等目的。
Ubuntu 22.04 LTS 以 rootless 模式安装 docker （qbit）
2022-09-29
阅读 3 分钟
5.4kdocker 免 root 运行（rootless）在 2019.7.22 的 v19.03.0 引入，在 2020.12.8 的 v20.10.0 GA。本文中使用 docker 版本为 2022.9.9 发布的 v20.10.18。
Linux 删除文件后磁盘空间没释放？（qbit）
2022-09-16
阅读 1 分钟
1.5kLinux 下产生日志的进程未关闭时，删除日志文件，空间并不会被释放虽然重启进程即可，但可能引起服务中断可用以下方法清空文件 {代码...} 查找打开的已删除文件 {代码...} 本文出自 qbit snap
MySQL 8 启用远程 root 访问（qbit）
2022-09-14
阅读 1 分钟
1.4kJSON特性增强MySQL 8 大幅改进了对JSON 的支持，添加了基于路径查询参数从JSON字段中抽取数据的JSON_EXTRACT() 函数，以及用于将数据分别组合到JSON 数组和对象中的JSON_ARRAYAGG() 和JSON_OBJECTAGG() 聚合函数。
DBeaver 下用 DuckDB 读取 parquet 文件（qbit）
2022-09-09
阅读 1 分钟
3.9k读取示例DuckDB 官方文档：[链接]DuckDB GitHub 地址：[链接]DBeaver 变量读取示例，注意变量功能是 DBeaver 的，不是 DuckDB 自带的 {代码...} 支持的压缩格式当前（2022.9.11）DuckDB 版本为 0.5.0，支持的 parquet 压缩格式有 {代码...} 看 github 上源码的枚举值，以后也许支持以下几种 {代码...} 本文出自 qbit snap
检查 Linux 更新后是否需要重启（qbit）
2022-09-08
阅读 1 分钟
2.3kUbuntu检查 /var/run/reboot-required 文件是否存在即可 {代码...} CentOS/RHEL利用 needs-restarting 命令判断 {代码...} 官方文档：Identify packages that will require a system reboot after an update本文出自 qbit snap
解决 fastapi 中 APScheduler 与 uvicorn 冲突问题（qbit）
2022-09-06
阅读 1 分钟
4.4k问题描述环境 {代码...} 在上述环境下，APScheduler 的定时任务不能运行uvicorn 0.14.0 与 APScheduler 搭配无此问题在 Windows 下 uvicorn 与 APScheduler 任意版本搭配也无此问题解决办法在 app 的 startup 事件中启动定时器即可 {代码...} 参考 uvicorn can't reload when i use apscheduler and fastapi together202...
端口转发（Linux/Windows）
2022-08-15
阅读 2 分钟
4.5k目的监听本机 7777 端口，将数据转发到 192.168.7.8 的 8888 端口，实现 TCP 数据转发。方法一 ncatncat端口转发，Linux/Windows 通用 {代码...} 方法二 netsh（Windows）设置（port forwarding in windows） {代码...} 查看 {代码...} 移除 {代码...} 方法三 iptables（Linux）Ubuntu（ How-To: Redirecting network tr...
使用 route 命令避免 EasyConnect 干扰内网连接（qbit）
2022-08-11
阅读 1 分钟
2.3kqbit 的 Windows 10 主机所在网络 192.168.1.0/24，在开启 EasyConnect 后无法访问同网络的 192.168.1.222
举例说明三种类型的ssh隧道（qbit）
2022-08-11
阅读 2 分钟
2k本地端口转发机器与网络状况 {代码...} 机器与网络状况示意图在开发机 Q 上执行以下命令创建隧道 {代码...} 在开发机 Q 上执行以下命令连接 MongoDB {代码...} 远程端口转发机器与网络状况 {代码...} 机器与网络状况示意图在主机 J 上开放 /etc/ssh/sshd_config 配置里面的 GatewayPorts，否则只能监听 localhost 在开发...
CentOS 6.9 升级 glibc 2.12 到 2.17（qbit）
2022-07-06
阅读 4 分钟
4.4k由于种种原因，qbit 需要在 CentOS 6.9 上通过 Miniconda 安装 Python 3.8，发现 glibc 版本太旧装不上，于是试验升级了glibc
遍历 ES 节点校验分词（qbit）
2022-06-16
阅读 3 分钟
1.2k前言技术栈 {代码...} hao 分词器：[链接]有时更新 ES 分词器或远程词典后，不确定每个节点是否都已更新到位，没找到直接的命令来校验，故写了一份 Python 脚本来做校验原理是利用 index.routing.allocation.include._ip 将索引分配到具体某个节点的分片上代码创建了 test_{nodeName} 的索引，测试完后手动删除 {代码......
ClickHouse 之 SummingMergeTree/AggregatingMergeTree 实现准实时看板（qbit）
2022-06-15
阅读 4 分钟
2.6k前言本文测试环境 ClickHouse 版本为 22.3 LTSSummingMergeTree 官方文档：[链接]AggregatingMergeTree 官方文档：[链接]原理就是预聚合，可以把统计时扫表条数减少几个数量级。有点 flink 流式计算的味道。初始化测试数据生成创建库 {代码...} 创建表 {代码...} 插入数据 {代码...} 查看数据 {代码...} 查看每天的下载...
ClickHouse 分布式架构（qbit）
2022-06-13
阅读 1 分钟
2.4kHDFS、Spark、HBase和Elasticsearch这类分布式系统，都采用了Master-Slave主从架构，有一个管控节点作为Leader统筹全局。而ClickHouse则采用Multi-Master多主架构，集群中的每个节点角色对等，客户端访问任意一个节点都能得到相同的效果。 这种多主的架构由许多优势，例如对等的的角色使系统架构变得更加简单，不用再区...
ClickHouse 数据表导出和导入（qbit）
2022-06-01
阅读 1 分钟
4k前言本文对 ClickHouse 22.3 适用官方文档：Inserting Data from a File，是把数据文件路径直接放到了SQL里面，没用重定向JSON Lines 格式导出语句 {代码...} 导入语句 {代码...} Native 格式导出语句 {代码...} 导入语句 {代码...} 本文出自 qbit snap
用 Python 批量检查 sqlite/db3 文件是否损坏（qbit）
2022-05-10
阅读 5 分钟
2.1k对 Python 3.8 适用check_db3.py {代码...} 本文出自 qbit snap
Elasticsearch preload数据到缓存（qbit）
2022-04-21
阅读 2 分钟
3.2k前言本文对 Elasticsearch 7.17 适用官方文档：[链接]preload 哪些文件官方建议 preload {代码...} aggression 多，但内存不是很充足，可以考虑 preload {代码...} 内容充足可以取上面的并集 preload {代码...} 其他官方文档里面讲 index.store.preload 是静态配置，可以在 elasticsearch.yml或建立索引前配置。实际上索...
Ubuntu 下使用 pyenv 管理 Python 版本（qbit）
2022-03-28
阅读 2 分钟
2.7k前言软件环境 {代码...} pyenv github: [链接]安装 pyenv安装依赖 {代码...} 安装 {代码...} 在 ~/.profile 里面添加 {代码...} 在 ~/.bashrc 里面添加 {代码...} 重启 shell {代码...} pyenv 基本用法查看可安装的 Python 版本 {代码...} 安装指定版本的 Python {代码...} 查看已安装的 Python 版本 {代码...} 切换 Pyt...
workflow 之 Prefect 基本用法（qbit）
2022-02-24
阅读 6 分钟
2k用 poetry 初始化项目后在 pyproject.toml 添加以下依赖，然后运行 poetry update -vvv {代码...}
VS Code 配置 Java 开发环境（qbit）
2022-02-09
阅读 1 分钟
2k技术栈 {代码...} 插件安装 {代码...} maven settings.xml 配置在设置中搜索 mavenJava 插件配置，注意这里的配置并不会对 Maven for Java 插件生效Maven for Java 插件设置本文出自 qbit snap
Windows 10 修改远程桌面端口（qbit）
2022-02-08
阅读 1 分钟
2.1k操作系统版本 Windoow 10 专业版 21H2用 PowerShell 查看端口号 {代码...} 在注册表中修改端口值（regedit） {代码...} 右键我的电脑 -> 属性 -> 启用远程桌面打开 Windows 防火墙高级设置新建入站规则放行自定义端口本文出自 qbit snap
用 logstash 从 kafka 读取数据写入 Elasticsearch（qbit）
2022-01-28
阅读 4 分钟
2.9k技术栈 {代码...} 用 docker 搭建 logstash官方文档docker 镜像拉取：[链接]docker 镜像配置：[链接]docker 镜像目录结构：[链接]配置步骤拉取镜像 {代码...} logstash 配置文件 /home/qbit/logstash/settings/logstash.yml {代码...} 管道配置文件 /home/qbit/logstash/pipeline/:/usr/share/logstash/pipeline/es-pipe...
用 docker 快速搭建 kafka（qbit）
2022-01-26
阅读 4 分钟
3.3k搭建 kafka本节技术栈 {代码...} kafka docker 镜像：[链接]kafka docker 镜像 github： [链接]搜索 kafka 镜像 {代码...} 列出 tag {代码...} 也可以用 podman 命令列出 {代码...} 编排文件 docker-compose.yml {代码...} 启动 kafka 和 zookeeper {代码...} 查看 kafka 和 zookeeper 是否正常运行 {代码...} 可视化工...
现代化命令行工具之Ubuntu 20.04（qbit）
2021-08-16
阅读 2 分钟
2.8k批量配置简易的 shell 脚本：[链接] {代码...} 本脚本适用于与有 root/sudo 权限使用本脚本适用于初始化，没做条件判断，不适用于复杂情景工具rg 替换 grep编程语言： RustGitHub：[链接]安装与配置 {代码...} bat 替换 cat编程语言： RustGitHub： [链接]安装与配置 {代码...} fd 替换 find编程语言： RustGitHub： # [...
Ubuntu 20.04 下使用 fzf（qbit）
2021-08-12
阅读 1 分钟
6.5kfzf github: [链接]安装 {代码...} 配置 {代码...} 测试 {代码...} 本文出自 qbit snap
Python 遍历中国区 s3 目录（qbit）
2021-08-08
阅读 3 分钟
2.8k软件环境 {代码...} s3fs 文档：[链接]client_kwargs 参见：[链接]示例代码 {代码...} 多进程示例代码 {代码...} 本文出自 qbit snap