前言技术栈 {代码...} Python 3.8 安装目录 {代码...} Python 3.11 安装目录 {代码...} 安装 poetry设置将以下路径加入 path 环境变量 {代码...} 复制文件 {代码...} 设置 pip 国内镜像源 {代码...} 升级 pip {代码...} 安装或升级 pipx {代码...} 在 Python 3.11 下用 pipx 安装 Poetry {代码...} 查看安装情况 {代码.....

前言技术栈 {代码...} 操作系统中并没有安装 scala，利用 pom.xml 中的插件编译 scala 代码报错现象编译命令 {代码...} 报如下错误 {代码...} 解决办法给编译插件添加 jvm 参数 jvmArg，添加后 scala-maven-plugin 插件完整配置如下 {代码...} scala-maven-plugin 插件 GitHub 地址：[链接]相关阅读JVM 参数及默认值 {代...

前言本文对 Ubuntu 20.04 适用bashbash 版本 5.0.17配置 {代码...} 结果 {代码...} 可以将上述配置加到 .bashrc 中fish编辑文件 ~/.config/fish/functions/fish_prompt.fish （目录或文件不存在就新建），模板参照 /usr/share/fish/functions/fish_prompt.fish {代码...} fish 的 ~/.config/fish/config.fish 对标 bash ...

前言Java 库 [链接]Python 库 [链接]背景：Java hutool 库生成的密钥，Python gmssl 签名校验不通过，折腾了很久才找到原因原因开始 hutool 这样生成的密钥，gmssl 死活通不过签名校验 {代码...} hutool 正确生成密钥的方式 {代码...} 后语如果觉得 gmssl 不对头，可以尝试 gmalg本文出自 qbit snap

dbt 是 Data Build Tool 的简称，目前由 dbt labs 公司负责开发和维护，公司的前身是Fishtown Analytics。

前言环境 {代码...} 正文初始化数据 {代码...} 定义去重函数 {代码...} 单列去重（将函数应用到某列的单元格） {代码...} 所有列去重（将函数应用到所有单元格） {代码...} 指定部分列去重（将函数应用到部分列的单元格） {代码...} 本文出自 qbit snap

前言环境 {代码...} 正文初始化数据 {代码...} 单字段合并 {代码...} 多字段合并 {代码...} 本文出自 qbit snap

Unicode 字符表：[链接]\xa0 是 NO-Break Space，不连续空格\xad 是 Soft Hyphen，软连接符，常被显示为短横或者空格可打印字符 {代码...} UTF8 {代码...} regex {代码...} pandahousepandahouse 处理 \xad 之类的非常规字符会有问题本文出自 qbit snap

PostgreSQL 在数据库层面不能像 MySQL 一样设置自动创建 create_time/update_time，自动更新 update_time

前言本文对 Windows 10/11 适用MSYS2 官网：[链接]MSYS2 官方新闻：2022.10.29，将默认环境由 MINGW64 更换为 UCRT64安装到官方仓库下载 MSYS2 安装包，qbit 当前下载的是 msys2-x86_64-20221028.exe按提示步骤安装即可，qbit 的安装路径为 D:\msys64添加别名在 D:\msys64\etc\bash.bashrc 文件末尾添加 {代码...} 右键...

前言Dagster 是一个工作流（数据流）编排工具，类似的工具有老牌的 Luigi，Apache 的 Airflow，还有一个新兴的 Prefect。技术栈 {代码...} poetry github：[链接]dagster github：[链接]安装用 poetry 初始化项目后在 pyproject.toml 添加以下依赖，然后运行 poetry update {代码...} 测试代码test_dagster.py {代码...}...

Industrial-strength Natural Language Processing (NLP) in Python工业级 NLP

前言当前日期为 2022.10.31qbit 当前使用 Python 版本为 3.8jieba“结巴”中文分词：做最好的 Python 中文分词组件qbit：结巴老矣，尚能饭否github：[链接]jieba 分词已经很久没有维护，其词性标注组件 paddlepaddle-tiny 最高只支持 Python 3.7NLTKNatural Language ToolkitGitHub：[链接]似乎没有官方中文词库：chinese....

前言本文试验环境为 3 台机器的 MongoDB 副本集 {代码...} 官方文档：[链接]推荐学习 唐建法《MongoDB 高手课》一般建议单个副本集容量 2TB 左右，不应超过 3TB；内存应大于索引体积大小之和正文列出所有数据库 {代码...} 查看单个库的统计信息 {代码...} {代码...} 列出单库下的 collection {代码...} 单个 collection ...

前言测试环境 {代码...} 本文主要是对比易用性，无关性能yarl 官方文档：[链接]url 组成部分yarl VS. urllib获取 url 参数urllib {代码...} 如果你还想问为什么没有 urldecode，把上面的示例看五遍。^_^yarl {代码...} 解析 url 的 query stringurllib {代码...} yarl {代码...} encode 编码urllib {代码...} yarl {代码...

机器学习的厉害之处就在于，它能利用计算机的运算能力，从大量的数据中发现一个“函数”或“模型”，并通过它来模拟现实世界事物间的关系，从而实现预测、判断等目的。

docker 免 root 运行（rootless）在 2019.7.22 的 v19.03.0 引入，在 2020.12.8 的 v20.10.0 GA。本文中使用 docker 版本为 2022.9.9 发布的 v20.10.18。

Linux 下产生日志的进程未关闭时，删除日志文件，空间并不会被释放虽然重启进程即可，但可能引起服务中断可用以下方法清空文件 {代码...} 查找打开的已删除文件 {代码...} 本文出自 qbit snap

JSON特性增强MySQL 8 大幅改进了对JSON 的支持，添加了基于路径查询参数从JSON字段中抽取数据的JSON_EXTRACT() 函数，以及用于将数据分别组合到JSON 数组和对象中的JSON_ARRAYAGG() 和JSON_OBJECTAGG() 聚合函数。

读取示例DuckDB 官方文档：[链接]DuckDB GitHub 地址：[链接]DBeaver 变量读取示例，注意变量功能是 DBeaver 的，不是 DuckDB 自带的 {代码...} 支持的压缩格式当前（2022.9.11）DuckDB 版本为 0.5.0，支持的 parquet 压缩格式有 {代码...} 看 github 上源码的枚举值，以后也许支持以下几种 {代码...} 本文出自 qbit snap

Ubuntu检查 /var/run/reboot-required 文件是否存在即可 {代码...} CentOS/RHEL利用 needs-restarting 命令判断 {代码...} 官方文档：Identify packages that will require a system reboot after an update本文出自 qbit snap

问题描述环境 {代码...} 在上述环境下，APScheduler 的定时任务不能运行uvicorn 0.14.0 与 APScheduler 搭配无此问题在 Windows 下 uvicorn 与 APScheduler 任意版本搭配也无此问题解决办法在 app 的 startup 事件中启动定时器即可 {代码...} 参考 uvicorn can't reload when i use apscheduler and fastapi together202...

目的监听本机 7777 端口，将数据转发到 192.168.7.8 的 8888 端口，实现 TCP 数据转发。方法一 ncatncat端口转发，Linux/Windows 通用 {代码...} 方法二 netsh（Windows）设置（port forwarding in windows） {代码...} 查看 {代码...} 移除 {代码...} 方法三 iptables（Linux）Ubuntu（ How-To: Redirecting network tr...

qbit 的 Windows 10 主机所在网络 192.168.1.0/24，在开启 EasyConnect 后无法访问同网络的 192.168.1.222

本地端口转发机器与网络状况 {代码...} 机器与网络状况示意图在开发机 Q 上执行以下命令创建隧道 {代码...} 在开发机 Q 上执行以下命令连接 MongoDB {代码...} 远程端口转发机器与网络状况 {代码...} 机器与网络状况示意图在主机 J 上开放 /etc/ssh/sshd_config 配置里面的 GatewayPorts，否则只能监听 localhost 在开发...

由于种种原因，qbit 需要在 CentOS 6.9 上通过 Miniconda 安装 Python 3.8，发现 glibc 版本太旧装不上，于是试验升级了glibc

前言技术栈 {代码...} hao 分词器：[链接]有时更新 ES 分词器或远程词典后，不确定每个节点是否都已更新到位，没找到直接的命令来校验，故写了一份 Python 脚本来做校验原理是利用 index.routing.allocation.include._ip 将索引分配到具体某个节点的分片上代码创建了 test_{nodeName} 的索引，测试完后手动删除 {代码......

前言本文测试环境 ClickHouse 版本为 22.3 LTSSummingMergeTree 官方文档：[链接]AggregatingMergeTree 官方文档：[链接]原理就是预聚合，可以把统计时扫表条数减少几个数量级。有点 flink 流式计算的味道。初始化测试数据生成创建库 {代码...} 创建表 {代码...} 插入数据 {代码...} 查看数据 {代码...} 查看每天的下载...

HDFS、Spark、HBase和Elasticsearch这类分布式系统，都采用了Master-Slave主从架构，有一个管控节点作为Leader统筹全局。而ClickHouse则采用Multi-Master多主架构，集群中的每个节点角色对等，客户端访问任意一个节点都能得到相同的效果。 这种多主的架构由许多优势，例如对等的的角色使系统架构变得更加简单，不用再区...

前言本文对 ClickHouse 22.3 适用官方文档：Inserting Data from a File，是把数据文件路径直接放到了SQL里面，没用重定向JSON Lines 格式导出语句 {代码...} 导入语句 {代码...} Native 格式导出语句 {代码...} 导入语句 {代码...} 本文出自 qbit snap