workflow 之 Prefect 基本用法（qbit）
2022-02-24
阅读 6 分钟
1.6k用 poetry 初始化项目后在 pyproject.toml 添加以下依赖，然后运行 poetry update -vvv {代码...}
VS Code 配置 Java 开发环境（qbit）
2022-02-09
阅读 1 分钟
1.7k技术栈 {代码...} 插件安装 {代码...} maven settings.xml 配置在设置中搜索 mavenJava 插件配置，注意这里的配置并不会对 Maven for Java 插件生效Maven for Java 插件设置本文出自 qbit snap
Windows 10 修改远程桌面端口（qbit）
2022-02-08
阅读 1 分钟
1.8k操作系统版本 Windoow 10 专业版 21H2用 PowerShell 查看端口号 {代码...} 在注册表中修改端口值（regedit） {代码...} 右键我的电脑 -> 属性 -> 启用远程桌面打开 Windows 防火墙高级设置新建入站规则放行自定义端口本文出自 qbit snap
用 logstash 从 kafka 读取数据写入 Elasticsearch（qbit）
2022-01-28
阅读 4 分钟
2.4k技术栈 {代码...} 用 docker 搭建 logstash官方文档docker 镜像拉取：[链接]docker 镜像配置：[链接]docker 镜像目录结构：[链接]配置步骤拉取镜像 {代码...} logstash 配置文件 /home/qbit/logstash/settings/logstash.yml {代码...} 管道配置文件 /home/qbit/logstash/pipeline/:/usr/share/logstash/pipeline/es-pipe...
用 docker 快速搭建 kafka（qbit）
2022-01-26
阅读 4 分钟
3k搭建 kafka本节技术栈 {代码...} kafka docker 镜像：[链接]kafka docker 镜像 github： [链接]搜索 kafka 镜像 {代码...} 列出 tag {代码...} 也可以用 podman 命令列出 {代码...} 编排文件 docker-compose.yml {代码...} 启动 kafka 和 zookeeper {代码...} 查看 kafka 和 zookeeper 是否正常运行 {代码...} 可视化工...
现代化命令行工具之Ubuntu 20.04（qbit）
2021-08-16
阅读 2 分钟
2.6k批量配置简易的 shell 脚本：[链接] {代码...} 本脚本适用于与有 root/sudo 权限使用本脚本适用于初始化，没做条件判断，不适用于复杂情景工具rg 替换 grep编程语言： RustGitHub：[链接]安装与配置 {代码...} bat 替换 cat编程语言： RustGitHub： [链接]安装与配置 {代码...} fd 替换 find编程语言： RustGitHub： # [...
Ubuntu 20.04 下使用 fzf（qbit）
2021-08-12
阅读 1 分钟
5.8kfzf github: [链接]安装 {代码...} 配置 {代码...} 测试 {代码...} 本文出自 qbit snap
Python 遍历中国区 s3 目录（qbit）
2021-08-08
阅读 3 分钟
2.4k软件环境 {代码...} s3fs 文档：[链接]client_kwargs 参见：[链接]示例代码 {代码...} 多进程示例代码 {代码...} 本文出自 qbit snap
拒绝裸奔，为 Elasticsearch 设置账号密码（qbit）
2021-08-04
阅读 2 分钟
10.6k前言2019 年 5 月 21 日，Elastic 官方博客发文称，ES 6.8 和 7.1 免费开放基本的安全功能。包括： {代码...} 铭毅天下解读： Elasticsearch 7.1免费安全功能全景认知阮一鸣《Elasticsearch核心技术与实战》有对安全功能的视频讲解本文对 Elasticsearch v7.13 可用ES 安全的几个层面集群身份认证与用户鉴权（账号密码）...
xonsh tips（qbit）
2021-08-03
阅读 1 分钟
1.6k前言github：[链接]TIPS安装 {代码...} Windows cmd 下避免中文路径乱码 {代码...} 配置文件 ~/.xonshrc {代码...} 本文出自 qbit snap
为 Elasticsearch 设置 update_time（qbit）
2021-07-28
阅读 3 分钟
2.6k前言本文对 Elasticsearch 7.17 有效创建时间（create_time）没找到好的实现方式如果入库的数据不再更新，文中的 update_time 可等同于 create_timeupdate_time 示例创建 Ingest pipelines（script、date） {代码...} 查看 pipeline {代码...} 创建索引，并设置默认 pipeline {代码...} 插入数据 {代码...} 查看 mapping...
NetworkX Tips（qbit）
2021-07-12
阅读 1 分钟
1.8k引子NetworkX github: [链接]技术栈 {代码...} Tips导入包 {代码...} 连通分量 {代码...} 度最大的节点 {代码...} 节点按度降序 {代码...} 连通分量的个数 {代码...} 打印各连通分量的节点集合 {代码...} 本文出自 qbit snap
Windows 下配置 pproxy 开机启动（qbit）
2021-07-12
阅读 1 分钟
2.6k环境本文对 Windows 10/2019 适用Python 版本 3.8.2pproxy 版本: 2.7.8步骤安装 pproxy {代码...} 任务计划程序 -> 创建基本任务输入任务名!触发器设置为“计算机启动时”操作设置为“启动程序”配置启动程序和参数 {代码...} 勾选图示复选框，点击完成勾选图示的单选框，复选框是否勾选视具体情况，点击确定重启验证本文...
推荐系统学习笔记（三）
2021-07-09
阅读 3 分钟
2.5kDoc2vec方法是一种无监督算法，能从变长的文本（例如：句子、段落或文档）中学习得到固定长度的特征表示。Doc2vec也可以叫做 Paragraph Vector、Sentence Embeddings，它可以获得句子、段落和文档的向量表达，是Word2Vec的拓展，其具有一些优点，比如不用固定句子长度，接受不同长度的句子做训练样本。
Python 包管理工具 poetry（qbit）
2021-06-30
阅读 1 分钟
3k官方文档：[链接]poetry 查看配置项 {代码...} 修改缓存目录 {代码...} 将虚拟目录放在项目内 {代码...} 发现 pyenv 等虚拟环境的 python 解释器 {代码...} 软件包国内镜像（pyproject.toml） {代码...} {代码...} 指定特定平台（linux）的第三方包 {代码...} poetry 导出 requirements.txt {代码...} 本文出自 qbit snap
推荐系统学习笔记（二）
2021-06-24
阅读 2 分钟
2.3k用户画像到底是什么？它是对用户信息的向量化表示，就是 User Profile，俗称“用户画像”。用户画像不是推荐系统的目的，而是在构建推荐系统的过程中产生的一个关键环节的副产品。构建用户画像需要下面两个步骤。
Elasticsearch 7.x 配置 IK 自定义词典（qbit）
2021-06-24
阅读 1 分钟
4.7kes 配置IK Dictionary Configuration {代码...} 不能热词更新，每次修改词典都需要重启 ES热词更新参见 使用 nginx 快速搭建 elasticsearch ik 远程词典服务Kibana 测试 {代码...} 本文出自 qbit snap
Python3 内存文件/临时文件（qbit）
2021-06-20
阅读 1 分钟
2.1kio.StringIO/io.BytesIO官方文档： [链接]tempfile.TemporaryFile/tempfile.TemporaryDirectory官方文档： [链接]示例 {代码...} pyfilesystem官方文档： [链接]本文出自 qbit snap
推荐系统学习笔记（一）
2021-06-10
阅读 3 分钟
2.3k互联网的出现和普及给用户带来了大量的信息，满足了用户在信息时代对信息的需求，但随着网络的迅速发展而带来的网上信息量的大幅增长，使得用户在面对大量信息时无法从中获得对自己真正有用的那部分信息，对信息的使用效率反而降低了，这就是所谓的信息超载（information overload）问题。
Elasticsearch 7.x 保留字符（qbit）
2021-06-07
阅读 1 分钟
2.7k前言本文对 Elasticsearch 7.x 有效query_string 保留字符官方文档： [链接] {代码...} 在 query_string 里面做通配符匹配时，空格需要转义regex 保留字符官方文档：[链接] {代码...} query_string 与 regex 保留字符并集 {代码...} {代码...} 本文出自 qbit snap
Windows 共享相关（qbit）
2021-06-01
阅读 1 分钟
2k命令行（cmd） {代码...} 注意，这种方式可能与gui并不同步。如果实在实在无法切换用户，可以在服务端的session里面中断相应会话。
Ubuntu 系统缓存的查看与清空（qbit）
2021-05-31
阅读 1 分钟
3.5k前言本文在 Ubuntu 20.04 下测试查看缓存fincore查看单个文件有多大在缓存中 {代码...} 查看目录下所有文件有多大在缓存中 {代码...} 递归查看目录下所有文件的缓存情况 {代码...} vmtouch查看单个文件有多大在缓存中 {代码...} 查看目录下所有文件有多大在缓存中 {代码...} pcstat未尝试，[链接]hcache未尝试，[链接]本...
airflow 2.x 分布式部署实战（qbit）
2021-05-11
阅读 6 分钟
7k试验开始使用的 MySQL 8 作为数据库，截至 2021.5.13，airflow 2.0.2 的这个问题未解决，所以转为使用 PostgreSQL 12
Ubuntu 通过 NFS 共享目录（qbit）
2021-05-07
阅读 1 分钟
5.4k前言两台 Ubuntu 20.04 的服务器，分别用作 server 和 client主要参照：[链接]NFS Server 配置安装软件 {代码...} 创建共享目录 {代码...} 修改共享目录的 owner 和读写权限 {代码...} 编辑 /etc/exports，修改共享目录对客户端的权限 {代码...} 重启服务使配置生效 {代码...} NFS Client 配置安装软件 {代码...} 创建挂...
清空正在写入的日志文件（qbit）
2021-04-24
阅读 1 分钟
2.6k本文测试环境 {代码...} 命令 {代码...} 这些方法也可用于清空 tomcat 的 catalina.out本文出自 qbit snap
CentOS7 离线安装 squid4（qbit）
2021-04-20
阅读 1 分钟
2.8k前言本文测试环境为 CentOS 7CentOS7 自带的 squid3，squid4 可以按这里的方法安装：[链接]离线包安装根据这篇文章整理： [链接]在线下载创建两个空目录 {代码...} 下载 {代码...} 打包 {代码...} 离线安装解压 {代码...} 安装 {代码...} 本文出自 qbit snap
Elasticsearch VS. ClickHouse
2021-04-19
阅读 1 分钟
2.7kES VS CK，成本太高，效率太低？不存在的大数据东风下，Clickhouse这坨屎是怎么上天的DB-Engines Ranking 数据库排名本文出自 qbit snap
Elasticsearch 缓存相关（qbit）
2021-04-15
阅读 3 分钟
3.6k前言本文对 Elasticsearch 7.17 适用Elasticsearch 主要有 3 种缓存：fields cache、query cache、request cache3 种 cache 的配置状况都可以用命令查看 {代码...} Field Data Cache官方文档：Field data cache settingsField data cache 包含 fielddata 和 global ordinals，两者都主要用于聚合。fielddata 和 doc_valu...
pip 对 Python 第三方包的版本控制（qbit）
2021-04-14
阅读 1 分钟
1.3kPEP 440: [链接]出处: [链接]OperatorDescriptionExample>Any version greater than the specified version.>3.1: any version greater than 3.1.<Any version less than the specified version.<3.1: any version less than 3.1.<=Any version less than or equal to the specified version.<=3.1: a...