fastapi/uvicorn 压测并发与TCP队列(qbit)

2023-09-05
阅读 1 分钟
981
用 jmeter 压测 fastapi/uvicorn 接口程序,大量报错: {代码...} 服务器 cpu 和内存使用都不高,推测是 tcp 连接队列的问题

Python 下 AWS IAM EC2 对 S3 的访问(qbit)

2023-09-04
阅读 1 分钟
815
AWS Identity and Access Management (IAM) 是一种 Web 服务,可以帮助您安全地控制对 AWS 资源的访问。

Elasticsearch 实现 sql count distinct 的功能(qbit)

2023-06-14
阅读 1 分钟
776
前言本文对 Elasticsearch 7.17 适用count distinct单字段 {代码...} 多字段 {代码...} OR {代码...} 相关阅读Elasticsearch Cardinality aggregation 官方文档:[链接]StackOverflow:Getting cardinality of multiple fields?本文出自 qbit snap

Postman 发送 RSA 签名请求(qbit)

2023-05-24
阅读 2 分钟
966
前言Postman 版本 10.13.6qbit 将 RSAForPostman 压缩拷贝到了码云便于国内访问Postman 脚本示例Pre-request Script {代码...} Postman 内置库官方文档:[链接] {代码...} 本文出自 qbit snap

PostgreSQL 对数组元素聚合(qbit)

2023-05-09
阅读 1 分钟
801
前言本文对 PostgreSQL 14.x 适用实现的方式是用 unnest 将正文表 jounal 结构示例 {代码...} 聚合结果 {代码...} sql 语句写法一 {代码...} sql 语句写法二 {代码...} sql 语句写法三 {代码...} 相关链接How to group result by array column in Postgres?Group by unique items in an array column and count records ...

Elasticsearch 根据数组长度过滤数据(qbit)

2023-05-05
阅读 1 分钟
1.1k
前言本文对 Elasticsearch 7.x 适用示例 {代码...} 关于与或非的优先级官方文档明确说明 ES 表达式的逻辑运算符和普通的理解不一样,有多个逻辑运算符时应该加上括号来确保正确性。相关文献Elasticsearch Script query 官方文档:[链接]stackoverflow elasticsearch filtering by the size of a field that is an array...

Windows 下多版本 Python 共享 Poetry(qbit)

2023-03-23
阅读 3 分钟
1.2k
前言技术栈 {代码...} Python 3.8 安装目录 {代码...} Python 3.11 安装目录 {代码...} 安装 poetry设置将以下路径加入 path 环境变量 {代码...} 复制文件 {代码...} 设置 pip 国内镜像源 {代码...} 升级 pip {代码...} 安装或升级 pipx {代码...} 在 Python 3.11 下用 pipx 安装 Poetry {代码...} 查看安装情况 {代码.....

maven 混合编译 java/scala 代码报错(qbit)

2023-03-20
阅读 3 分钟
1.1k
前言技术栈 {代码...} 操作系统中并没有安装 scala,利用 pom.xml 中的插件编译 scala 代码报错现象编译命令 {代码...} 报如下错误 {代码...} 解决办法给编译插件添加 jvm 参数 jvmArg,添加后 scala-maven-plugin 插件完整配置如下 {代码...} scala-maven-plugin 插件 GitHub 地址:[链接]相关阅读JVM 参数及默认值 {代...

shell 命令提示符中显示时间(qbit)

2023-02-16
阅读 1 分钟
839
前言本文对 Ubuntu 20.04 适用bashbash 版本 5.0.17配置 {代码...} 结果 {代码...} 可以将上述配置加到 .bashrc 中fish编辑文件 ~/.config/fish/functions/fish_prompt.fish (目录或文件不存在就新建),模板参照 /usr/share/fish/functions/fish_prompt.fish {代码...} fish 的 ~/.config/fish/config.fish 对标 bash ...

Java 与 Python 国密算法 SM2 交互使用(qbit)

2023-01-10
阅读 1 分钟
2.7k
前言Java 库 [链接]Python 库 [链接]背景:Java hutool 库生成的密钥,Python gmssl 签名校验不通过,折腾了很久才找到原因原因开始 hutool 这样生成的密钥,gmssl 死活通不过签名校验 {代码...} hutool 正确生成密钥的方式 {代码...} 后语如果觉得 gmssl 不对头,可以尝试 gmalg本文出自 qbit snap

poetry 下运行 dbt(qbit)

2022-12-28
阅读 9 分钟
2.2k
dbt 是 Data Build Tool 的简称,目前由 dbt labs 公司负责开发和维护,公司的前身是Fishtown Analytics。

pandas 将函数应用到列(qbit)

2022-12-23
阅读 2 分钟
1.1k
前言环境 {代码...} 正文初始化数据 {代码...} 定义去重函数 {代码...} 单列去重(将函数应用到某列的单元格) {代码...} 所有列去重(将函数应用到所有单元格) {代码...} 指定部分列去重(将函数应用到部分列的单元格) {代码...} 本文出自 qbit snap

pandas 分组合并字段(qbit)

2022-12-22
阅读 1 分钟
1k
前言环境 {代码...} 正文初始化数据 {代码...} 单字段合并 {代码...} 多字段合并 {代码...} 本文出自 qbit snap

Python 可打印字符、UTF8相关(qbit)

2022-12-15
阅读 2 分钟
1.3k
Unicode 字符表:[链接]\xa0 是 NO-Break Space,不连续空格\xad 是 Soft Hyphen,软连接符,常被显示为短横或者空格可打印字符 {代码...} UTF8 {代码...} regex {代码...} pandahousepandahouse 处理 \xad 之类的非常规字符会有问题本文出自 qbit snap

PostgreSQL 插入时间与更新时间(qbit)

2022-12-01
阅读 3 分钟
3.4k
PostgreSQL 在数据库层面不能像 MySQL 一样设置自动创建 create_time/update_time,自动更新 update_time

Windows Terminal + MSYS2 配置(qbit)

2022-11-23
阅读 2 分钟
3.8k
前言本文对 Windows 10/11 适用MSYS2 官网:[链接]MSYS2 官方新闻:2022.10.29,将默认环境由 MINGW64 更换为 UCRT64安装到官方仓库下载 MSYS2 安装包,qbit 当前下载的是 msys2-x86_64-20221028.exe按提示步骤安装即可,qbit 的安装路径为 D:\msys64添加别名在 D:\msys64\etc\bash.bashrc 文件末尾添加 {代码...} 右键...

workflow 之 Dagster 基本用法(qbit)

2022-11-09
阅读 5 分钟
4.3k
前言Dagster 是一个工作流(数据流)编排工具,类似的工具有老牌的 Luigi,Apache 的 Airflow,还有一个新兴的 Prefect。技术栈 {代码...} poetry github:[链接]dagster github:[链接]安装用 poetry 初始化项目后在 pyproject.toml 添加以下依赖,然后运行 poetry update {代码...} 测试代码test_dagster.py {代码...}...

排除 spaCy 的部分组件(qbit)

2022-11-04
阅读 2 分钟
1.6k
Industrial-strength Natural Language Processing (NLP) in Python工业级 NLP

Python3 中文分词(qbit)

2022-10-31
阅读 2 分钟
1.9k
前言当前日期为 2022.10.31qbit 当前使用 Python 版本为 3.8jieba“结巴”中文分词:做最好的 Python 中文分词组件qbit:结巴老矣,尚能饭否github:[链接]jieba 分词已经很久没有维护,其词性标注组件 paddlepaddle-tiny 最高只支持 Python 3.7NLTKNatural Language ToolkitGitHub:[链接]似乎没有官方中文词库:chinese....

MongoDB 查看索引与存储大小(qbit)

2022-10-30
阅读 3 分钟
1.8k
前言本文试验环境为 3 台机器的 MongoDB 副本集 {代码...} 官方文档:[链接]推荐学习 唐建法《MongoDB 高手课》一般建议单个副本集容量 2TB 左右,不应超过 3TB;内存应大于索引体积大小之和正文列出所有数据库 {代码...} 查看单个库的统计信息 {代码...} {代码...} 列出单库下的 collection {代码...} 单个 collection ...

yarl 对比 python3 标准库 urllib(qbit)

2022-10-24
阅读 3 分钟
1.2k
前言测试环境 {代码...} 本文主要是对比易用性,无关性能yarl 官方文档:[链接]url 组成部分yarl VS. urllib获取 url 参数urllib {代码...} 如果你还想问为什么没有 urldecode,把上面的示例看五遍。^_^yarl {代码...} 解析 url 的 query stringurllib {代码...} yarl {代码...} encode 编码urllib {代码...} yarl {代码...

机器学习实战步骤(qbit)

2022-10-09
阅读 2 分钟
1.6k
机器学习的厉害之处就在于,它能利用计算机的运算能力,从大量的数据中发现一个“函数”或“模型”,并通过它来模拟现实世界事物间的关系,从而实现预测、判断等目的。

Ubuntu 22.04 LTS 以 rootless 模式安装 docker (qbit)

2022-09-29
阅读 3 分钟
4.7k
docker 免 root 运行(rootless)在 2019.7.22 的 v19.03.0 引入,在 2020.12.8 的 v20.10.0 GA。本文中使用 docker 版本为 2022.9.9 发布的 v20.10.18。

Linux 删除文件后磁盘空间没释放?(qbit)

2022-09-16
阅读 1 分钟
1.2k
Linux 下产生日志的进程未关闭时,删除日志文件,空间并不会被释放虽然重启进程即可,但可能引起服务中断可用以下方法清空文件 {代码...} 查找打开的已删除文件 {代码...} 本文出自 qbit snap

MySQL 8 启用远程 root 访问(qbit)

2022-09-14
阅读 1 分钟
1.2k
JSON特性增强MySQL 8 大幅改进了对JSON 的支持,添加了基于路径查询参数从JSON字段中抽取数据的JSON_EXTRACT() 函数,以及用于将数据分别组合到JSON 数组和对象中的JSON_ARRAYAGG() 和JSON_OBJECTAGG() 聚合函数。

DBeaver 下用 DuckDB 读取 parquet 文件(qbit)

2022-09-09
阅读 1 分钟
3.3k
读取示例DuckDB 官方文档:[链接]DuckDB GitHub 地址:[链接]DBeaver 变量读取示例,注意变量功能是 DBeaver 的,不是 DuckDB 自带的 {代码...} 支持的压缩格式当前(2022.9.11)DuckDB 版本为 0.5.0,支持的 parquet 压缩格式有 {代码...} 看 github 上源码的枚举值,以后也许支持以下几种 {代码...} 本文出自 qbit snap

检查 Linux 更新后是否需要重启(qbit)

2022-09-08
阅读 1 分钟
2k
Ubuntu检查 /var/run/reboot-required 文件是否存在即可 {代码...} CentOS/RHEL利用 needs-restarting 命令判断 {代码...} 官方文档:Identify packages that will require a system reboot after an update本文出自 qbit snap

解决 fastapi 中 APScheduler 与 uvicorn 冲突问题(qbit)

2022-09-06
阅读 1 分钟
4k
问题描述环境 {代码...} 在上述环境下,APScheduler 的定时任务不能运行uvicorn 0.14.0 与 APScheduler 搭配无此问题在 Windows 下 uvicorn 与 APScheduler 任意版本搭配也无此问题解决办法在 app 的 startup 事件中启动定时器即可 {代码...} 参考 uvicorn can't reload when i use apscheduler and fastapi together202...

端口转发(Linux/Windows)

2022-08-15
阅读 2 分钟
4k
目的监听本机 7777 端口,将数据转发到 192.168.7.8 的 8888 端口,实现 TCP 数据转发。方法一 ncatncat端口转发,Linux/Windows 通用 {代码...} 方法二 netsh(Windows)设置(port forwarding in windows) {代码...} 查看 {代码...} 移除 {代码...} 方法三 iptables(Linux)Ubuntu( How-To: Redirecting network tr...

使用 route 命令避免 EasyConnect 干扰内网连接(qbit)

2022-08-11
阅读 1 分钟
2k
qbit 的 Windows 10 主机所在网络 192.168.1.0/24,在开启 EasyConnect 后无法访问同网络的 192.168.1.222