背景机器上有两块硬盘：一块 256GB 的 SSD，一块 4TB 的机械硬盘原来装的 Windows 系统，改为装 Ubuntu 20.04 LTS，SSD 作为系统盘已装好查看磁盘信息 {代码...} 删除机械硬盘的 Windows 分区 {代码...} 将机械硬盘格式化为 ext4 {代码...} 挂载机械硬盘 {代码...} 设置开机自动挂载fstab中 每个字段代表的含义在 /etc/f...

前言iproute2 的 ip route 命令对标 net-tools 的 route 命令，可参考 iproute2 tips路由表（ip rule）查看路由表 {代码...} 删除一个路由表 {代码...} 添加路由表 {代码...} 路由（ip route）显示路由 {代码...} 查看指定网段的路由 {代码...} 删除接口路由 {代码...} 查看本地静态路由 {代码...} 查看直连路由 {代码.....

前言旧时代网络管理软件 net-tools、NetworkManager新时代网络管理软件 iproute2、resolvectl新时代旧时代大致可按 2010 年划分检查网卡是否已插入网线直接查看文件 {代码...} ip addr 或 ip link 命令查看网卡状态mii-tool {代码...} ip link {代码...} 查看物理网卡 ip在安装 docker 后，ip addr 显示的地址太多，想要...

docker 在发展中产生了很多的名字（docker/docker.io/docker-engine ），当前（2020/5/26）软件包名为 docker-ce（Docker Engine-Community）。可以尝试清理旧版软件：

前言本文对 Elasticsearch 7.17 适用提升字段的权重multi_match默认 type 为 best_fields {代码...} most_fields {代码...} query_string {代码...} simple_query_string {代码...} 提升子句的权重bool 查询 {代码...} 提升索引的权重indices_boost {代码...} Function score queryElasticSearch 相关性打分机制年份越大...

环境 {代码...} bson（小图片） bson 用来存放小于 16MB 的小文件 Python 示例代码 {代码...} {代码...} {代码...} GridFS（大图片） GridFS 用来存放大于 16 MB 的大文件 本文出自 qbit snap

查询一个字段有哪几种取值 {代码...} {代码...} 取字段的前 2 位并去重 {代码...} {代码...} 统计一个字段的几种取值，并按统计量降序排列。 {代码...} {代码...} 本文出自 qbit snap

跳过测试 跳过测试代码运行，不跳过测试代码编译 {代码...} 跳过测试代码编译和运行 {代码...} war Web Archive file Java之Maven打包本地jar到war中 导出 pom.xml 依赖 {代码...} 中央仓库 Apache {代码...} Maven {代码...} 阿里云 {代码...} 本文出自 qbit snap

打开 jvisualvm，qbit 的路径是 C:\Program Files\Java\jdk1.8.0_162\bin\jvisualvm.exe

前言JVM 的参数有好几百个，听着有点吓人，好在最常用的参数只有两个，其他绝大多数参数都无需调整。可以参考廖雪峰的文章： JVM调优的正确姿势 {代码...} 特别说明 -Xmn 在绝大多数情况下并不需要配置，详见后文Oracle 对 JVM 参数的说明文档打印 JVM 参数打印 JVM 参数初始值 {代码...} 打印 JVM 参数最终值 {代码...}...

官方文档摘要jvm.options一般情况下并不需要更改 JVM 的配置项。最可能更改的 JVM 配置是堆大小（heap size）可以使用 jvm.options 配置文件或 ES_JAVA_OPTS 环境变量更改 JVM 配置首选通过 jvm.options 更改配置heap sizeElasticsearch 通过 jvm.options 中的 Xms 和 Xmx 设置堆的大小应该讲 Xms 和 Xmx 设为相同的值 {...

ElasticSearch 架构解析与最佳实践 推荐学习阮一鸣《Elasticsearch 核心技术与实战》 本文出自 qbit snap

专家视频 索传军 {代码...} 由数字馆藏到数据馆藏—大数据时代我们的价值 {代码...} 智能图书馆的资源组织模式—基于情景和语义的知识组织 {代码...} 知识图谱在图书馆的应用—智能图书馆的基础 {代码...} 邵波 {代码...} 新一代服务平台环境下的数据管理和服务研究 {代码...} 文献资料 电子版ISBN/ISSN/ISSN-L及BIBFRAME用...

第 II 部分 结构化 API——DataFrame、SQL和Dataset第4章 结构化API概述第5章 基本的结构化操作第6章 处理不同的数据类型第7章 聚合操作第8章 连接操作第9章 数据源第10章 Spark SQL第11章 Dataset

MARC 是 Machine Readable Catalog(ue) 的缩写，意即“机器可读目录”，即以代码形式和特定结构记录在计算机存储载体上的、用计算机识别与阅读的目录。

MongoDB 在数据库层面不能像 MySQL 一样设置自动创建 create_time/update_time，自动更新 update_time

简介rsync 是一款高效远程数据同步工具。rsync 能同步更新两处计算机的文件与目录，并适当利用差分编码以减少数据传输量。（增量同步）rsync 中的一项同类软件不常见的重要特性是每个目标的镜像只需发送一次。rsync 可以拷贝/显示目录内容，以及拷贝文件，并可选压缩以及递归拷贝。rsync 命令中，一个冒号走 ssh 协议，...

apt 与 apt-getAPT: Advanced Packaging Toolapt 命令不是 apt-get 的简写apt 整合了 apt-get、apt-cache 和 apt-config 中的常用命令可以将 apt 看作 apt-get 的升级版常用命令对比apt 命令示例取代的命令命令的功能apt installapt install unzipapt-get install安装软件包apt removeapt remove unzipapt-get remove移...

前言 本文是 qbit 对“Spark GraphX 三大算法”的信息收录。 三大算法指：PageRank、连通分量和三角计数 qbit 对原理认识有限（为什么？） qbit 对应用很感兴趣（怎么用？） 本文希望做一些通俗解释，不是学术化的精准描述。 网页排名（PageRank） TODO 连通分量（Connected Components） TODO 相关链接 基于Spark GraphX...

正向代理（Forward Proxy）是指是一个位于客户端和原始服务器之间的服务器，为了从原始服务器取得内容， 客户端向代理发送一个请求并指定目标(原始服务器)，然后代理向原始服务器转交请求并将获得的内容返回给客户端。客户端才能使用正向代理。

以 Ubuntu 18.04 LTS 为例发行版本 {代码...} 内核版本 {代码...} 同时查看 {代码...} 本文出自 qbit snap

环境 操作系统版本 {代码...} iproute2 版本 {代码...} iptables 版本 {代码...} 需求 针对 192.168.0.36 主机配置 HTTP 协议（80 端口）流量走 192.168.0.3 路由 其余流量走 192.168.0.1 路由 示意图如下 配置 {代码...} 相关链接 Linux系列—策略路由、ip rule、ip route 本文出自 qbit snap

组件对比用途net-toolsiproute2地址和链路配置ifconfigip addr, ip link路由routeip routeARParpip neighVLANvconfigip link隧道iptunnelip tunnel组播ipmaddrip maddr统计netstatss

前言 本文对 MongoDB 4.2.x 适用 本文对 Ubuntu 18.04 LTS 适用 实例 创建 root 用户 {代码...} 给 admin 用户授予/取消 root 权限 {代码...} 编辑配置文件（/etc/mongod.conf），开启认证 {代码...} 重启 mongodb 服务 {代码...} 创建其他用户 {代码...} 本文出自 qbit snap

本文内容在 Ubuntu 18.04/20.04 上有效 在用户 home 目录下创建 .vimrc {代码...} 在 .vimrc 中写入以下内容 {代码...} 本文出自 qbit snap

转自Windows下使用任务计划程序实现宽带开机自动拨号和断线自动重连首先打开任务计划，创建任务填入名称选择触发器，新建然后填入下图内容选择操作，新建填入下图内容最后确定，运行任务即可

前言 本文对 spark 2.1.x 适用 executor 内存模型 堆内内存与堆外内存 堆内内存 堆外内存 动态资源分配 基本参数设置 {代码...} Dynamic Allocation 相关链接 线程瓜分 executor 内存： 如何设置Spark Executor Memory的大小 对 spark ui 显示内存数值的算账： Spark内存管理之堆内/堆外内存原理详解 本文出自 qbit sanp

前言airflow 是 DAG(有向无环图)的任务管理系统，简单的理解就是一个高级版的 crontab。airflow 解决了 crontab 无法解决的任务依赖问题。环境与组件Ubuntu 18.04MySQL 5.7Python 3.6.9airflow 1.10.10celery 4.4.2RabbitMQ 3.6.10实战步骤基本步骤安装 Python3 的 pip {代码...} 安装 MySQL 开发包 {代码...} 在 3 台 a...

前言本文对 iptables 1.6.x 适用iptables 下载（版本列表/历史版本）：iptables Release of the netfilter/iptables project表、链、规则iptables 有四张表 {代码...} iptables 命令在不显式指定表时，默认 filter 表iptables 3 种数据包经过的链（chain） iptables 数据包详细走向图iptables 常见 target {代码...} ipt...

基本概念 表（Tables） 类似关系型数据库的表 项目（Items） 类似关系型数据库的行（Row） 每个项目的属性的累计大小必须在 DynamoDB 项目大小上限 (400 KB) 以内 Amazon DynamoDB 压缩大型属性值 MongoDB 的单个文档大小限制为 16 MB 属性（Attributes） 类似关系型数据库的列/字段（Column/Field） 主键（Primary Key...