前言技术栈 {代码...} 相关文档Flink DataStream API 编程指南： [链接]File Sink： [链接]示例代码 {代码...} 输出与输出输入文件内容 {代码...} 输出文件内容 {代码...} 项目配置文件 pom.xml {代码...} 本文出自 qbit snap

前言技术栈 {代码...} WordCount 批处理官方文档：[链接]示例代码 {代码...} 运行结果 {代码...} WordCount 流处理官方文档：[链接]示例代码（滚动窗口） {代码...} 用 nc 创建服务端，并输入数据 {代码...} 运行结果 {代码...} pom.xml {代码...} 本文出自 qbit snap

前言本文记录的重要变化重要与否为 qbit 个人判断Release notes官方 Release notes：[链接]收费功能查看：Elastic Stack subscriptions8.0 (2022-02-11)What’s new in 8.0默认启用安全特性（Security features）KNN 搜索 API 技术预览（NLP） {代码...} 减少 keyword、text字段的空间占用支持结合 PyTorch 模型处理自然...

前言本文对 Elasticsearch 7.17 适用需要通过 reindex 给数据添加字段，查官方文档估摸 set 和 append 两种 processor 实现，试验之试验过程idx_1创建索引 idx_1 {代码...} idx_2运用 set 创建 pipeline {代码...} 创建索引 idx_2 {代码...} 查看索引 idx_2 {代码...} {代码...} idx_3运用 append 创建 pipeline {代码.....

ES 中要将字符串类型字段转整数类型字段，原来的想法是直接将新 mapping 中字段定义为整数，再 reindex，实践发现走不通，需要定义 pipeline 做转换才行

前言技术栈 {代码...} 案例测试代码 {代码...} 测试输出 {代码...} 相关资料库[链接][链接]文章pyparsing 学习（博客园）取代正则-使用pyparsing来定制自己的解析器（知乎）Pyparsing快速构建解释器 | 实战搜索查询语法（知乎）parsing logical expression with pyparsingPyparsing实战（知乎）用 pyparsing 3.x 将与或...

前言技术栈 {代码...} 案例测试代码 {代码...} 测试输出 {代码...} 相关资料库[链接][链接][链接][链接]文章PyParsing 官方文档：[链接]pyparsing 学习（博客园）取代正则-使用pyparsing来定制自己的解析器（知乎）Pyparsing快速构建解释器 | 实战搜索查询语法（知乎）parsing logical expression with pyparsingPyparsi...

前言技术栈 {代码...} 案例测试代码 {代码...} 测试输出 {代码...} 相关资料库[链接][链接][链接][链接]文章PyParsing 官方文档：[链接]pyparsing 学习（博客园）取代正则-使用pyparsing来定制自己的解析器（知乎）Pyparsing快速构建解释器 | 实战搜索查询语法（知乎）parsing logical expression with pyparsingPyparsi...

前言技术栈 {代码...} 利用 redis 的 zset 实现接口调用限速案例测试代码 {代码...} 结果输出 {代码...} 参考文献实现接口的限流各种算法本文出自 qbit snap

前言本文的例子来自铭毅天下，并得到了铭毅天下本人的指导本文内容对 Elasticsearch 7.17 适用示例多商品在不同分类下有不同的排名，取某个分类下的topN创建 mappings {代码...} 写入样例数据 {代码...} 铭毅天下 给的参考查询语句，用到了聚合 {代码...} 参考ES nested 字段排序官方示例不用聚合的查询语句 {代码...} ...

官方建议用在 Amazon Linux 2 上编译安装 Python 环境，测试发现在 Ubuntu 上用 Miniconda 生成的虚拟环境也是可以的

前言技术栈 {代码...} 案例测试解析 与 或测试代码 {代码...} 测试输出 {代码...} setParseAction 函数测试测试代码 {代码...} 测试输出 {代码...} 相关资料库[链接][链接][链接][链接]文章pyparsing 学习（博客园）取代正则-使用pyparsing来定制自己的解析器（知乎）Pyparsing快速构建解释器 | 实战搜索查询语法（知乎...

用 jmeter 压测 fastapi/uvicorn 接口程序，大量报错： {代码...} 服务器 cpu 和内存使用都不高，推测是 tcp 连接队列的问题

AWS Identity and Access Management (IAM) 是一种 Web 服务，可以帮助您安全地控制对 AWS 资源的访问。

前言本文对 Elasticsearch 7.17 适用count distinct单字段 {代码...} 多字段 {代码...} OR {代码...} 相关阅读Elasticsearch Cardinality aggregation 官方文档：[链接]StackOverflow：Getting cardinality of multiple fields?本文出自 qbit snap

前言Postman 版本 10.13.6qbit 将 RSAForPostman 压缩拷贝到了码云便于国内访问Postman 脚本示例Pre-request Script {代码...} Postman 内置库官方文档：[链接] {代码...} 本文出自 qbit snap

前言本文对 PostgreSQL 14.x 适用实现的方式是用 unnest 将正文表 jounal 结构示例 {代码...} 聚合结果 {代码...} sql 语句写法一 {代码...} sql 语句写法二 {代码...} sql 语句写法三 {代码...} 相关链接How to group result by array column in Postgres?Group by unique items in an array column and count records ...

前言本文对 Elasticsearch 7.x 适用示例 {代码...} 关于与或非的优先级官方文档明确说明 ES 表达式的逻辑运算符和普通的理解不一样，有多个逻辑运算符时应该加上括号来确保正确性。相关文献Elasticsearch Script query 官方文档：[链接]stackoverflow elasticsearch filtering by the size of a field that is an array...

前言技术栈 {代码...} Python 3.8 安装目录 {代码...} Python 3.11 安装目录 {代码...} 安装 poetry设置将以下路径加入 path 环境变量 {代码...} 复制文件 {代码...} 设置 pip 国内镜像源 {代码...} 升级 pip {代码...} 安装或升级 pipx {代码...} 在 Python 3.11 下用 pipx 安装 Poetry {代码...} 查看安装情况 {代码.....

前言技术栈 {代码...} 操作系统中并没有安装 scala，利用 pom.xml 中的插件编译 scala 代码报错现象编译命令 {代码...} 报如下错误 {代码...} 解决办法给编译插件添加 jvm 参数 jvmArg，添加后 scala-maven-plugin 插件完整配置如下 {代码...} scala-maven-plugin 插件 GitHub 地址：[链接]相关阅读JVM 参数及默认值 {代...

前言本文对 Ubuntu 20.04 适用bashbash 版本 5.0.17配置 {代码...} 结果 {代码...} 可以将上述配置加到 .bashrc 中fish编辑文件 ~/.config/fish/functions/fish_prompt.fish （目录或文件不存在就新建），模板参照 /usr/share/fish/functions/fish_prompt.fish {代码...} fish 的 ~/.config/fish/config.fish 对标 bash ...

前言Java 库 [链接]Python 库 [链接]背景：Java hutool 库生成的密钥，Python gmssl 签名校验不通过，折腾了很久才找到原因原因开始 hutool 这样生成的密钥，gmssl 死活通不过签名校验 {代码...} hutool 正确生成密钥的方式 {代码...} 本文出自 qbit snap

dbt 是 Data Build Tool 的简称，目前由 dbt labs 公司负责开发和维护，公司的前身是Fishtown Analytics。

前言环境 {代码...} 正文初始化数据 {代码...} 定义去重函数 {代码...} 单列去重（将函数应用到某列的单元格） {代码...} 所有列去重（将函数应用到所有单元格） {代码...} 指定部分列去重（将函数应用到部分列的单元格） {代码...} 本文出自 qbit snap

前言环境 {代码...} 正文初始化数据 {代码...} 单字段合并 {代码...} 多字段合并 {代码...} 本文出自 qbit snap

Unicode 字符表：[链接]\xa0 是 NO-Break Space，不连续空格\xad 是 Soft Hyphen，软连接符，常被显示为短横或者空格可打印字符 {代码...} UTF8 {代码...} regex {代码...} pandahousepandahouse 处理 \xad 之类的非常规字符会有问题本文出自 qbit snap

PostgreSQL 在数据库层面不能像 MySQL 一样设置自动创建 create_time/update_time，自动更新 update_time

前言本文对 Windows 10/11 适用MSYS2 官网：[链接]MSYS2 官方新闻：2022.10.29，将默认环境由 MINGW64 更换为 UCRT64安装到官方仓库下载 MSYS2 安装包，qbit 当前下载的是 msys2-x86_64-20221028.exe按提示步骤安装即可，qbit 的安装路径为 D:\msys64添加别名在 D:\msys64\etc\bash.bashrc 文件末尾添加 {代码...} 右键...

前言Dagster 是一个工作流（数据流）编排工具，类似的工具有老牌的 Luigi，Apache 的 Airflow，还有一个新兴的 Prefect。技术栈 {代码...} poetry github：[链接]dagster github：[链接]安装用 poetry 初始化项目后在 pyproject.toml 添加以下依赖，然后运行 poetry update {代码...} 测试代码test_dagster.py {代码...}...

Industrial-strength Natural Language Processing (NLP) in Python工业级 NLP