关于 SUID, SGID 和 Sticky（qbit）
2019-10-17
阅读 1 分钟
1.2kSUID Set-user Identification SUID 属性只能运用在可执行文件上，当用户执行该执行文件时，会临时拥有该可执行文件所有者的权限。 示例 {代码...} SGID Set-group identification SGID 属性可以应用在目录或可执行文件上。当SGID属性应用在目录上时，该目录中所有建立的文件或子目录的拥有组都会是该目录的拥有组。 示...
Linux 用户管理相关命令（qbit）
2019-10-17
阅读 1 分钟
1.6k相关文件口令文件（/etc/passwd）中的登录项有7个以冒号分隔的字段组成，依次是： {代码...} 加密口令存放在 /etc/shadow 中。组文件（/etc/group）将组名映射为数值的组ID，其中4个字段依次是： {代码...} 用户相关创建用户 {代码...} {代码...} 删除用户 {代码...} 创建或修改用户密码 {代码...} 查看用户登录日志。 {...
VSCode Tips（qbit）
2019-10-16
阅读 2 分钟
1.4k快捷键打开命令面板，快速打开最近使用的文件 {代码...} 打开命令面板，显示所有命令 {代码...} 跳转到行 {代码...} 函数列表 {代码...} 列编辑 {代码...} 格式化整个文档 {代码...} 格式化选定代码 {代码...} 快捷键官方文档：Key Bindings for Visual Studio Codesettings.json {代码...} Pythonflake8 + yapf（推荐）...
Spark2 的序列化（JavaSerializer/KryoSerializer）
2019-10-12
阅读 3 分钟
6.3kKryoSerializer 比 JavaSerializer 效率高很多，但是不支持所有对象的序列化（比如？？），在使用时需要手动注册自定义类。如果不注册，性能比 JavaSerializer 更糟糕。
IntelliJ IDEA Tips
2019-10-11
阅读 1 分钟
1.8k生成注释 idea自动生成方法注释（含参数及返回值） qbit 在 IntelliJ IDEA 2019.2 社区版的设置如下Template text {代码...} groovy 脚本 {代码...} maven 添加本地 jar 包 添加到本地仓库 以添加 4mc 2.1.0 为例进入 bin 目录，qbit 的路径是 {代码...} 进入 cmd 执行命令 {代码...} pom.xml 添加依赖 {代码...} 本文出...
Oozie(HUE) 调度 Spark2
2019-10-11
阅读 6 分钟
3.6k环境 {代码...} yarn local 模式 进入 Workspace 进入 lib 目录，并上传 jar 和 配置文件 拖拽 Spark Program 选择刚才的 lib 目录 填入 jar 名称，点击 add 确认 填写业务主类名称，并配置参数 点击小齿轮，查看其他参数 保存配置 提交运行 yarn cluster 模式 进入 Workspace 进入 lib 目录，并上传 jar 和 配置文件 拖...
Spark RDD 转化操作与行动操作
2019-09-25
阅读 3 分钟
4.1k本文摘自《Spark 快速大数据分析》概述RDD 支持两种操作：转化操作（Transformation）和行动操作（Action）。转化操作时返回一个新的 RDD 的操作，比如 map() 和 filter()。行动操作则是向驱动器程序返回结果或把结果写入外部系统的操作，会触发实际的计算，比如 count() 和first()。Spark 对待转化操作和行动操作的方式...
Spark 2.x 与 Java 8 下 WordCount 示例
2019-09-25
阅读 7 分钟
3.7k运行环境 {代码...} RDD, 不用 lambda，reduceByKey import {代码...} main {代码...} RDD + reduceByKey import {代码...} main {代码...} RDD + countByValue import {代码...} main {代码...} DataFrame/DataSet + SQL import {代码...} main {代码...} DataSet/DataFrame + groupBy import {代码...} main {代码...}...
AES 加密解密示例（qbit）
2019-09-19
阅读 2 分钟
2.1k密码学中的高级加密标准（Advanced Encryption Standard，AES），又称Rijndael加密法，是美国联邦政府采用的一种区块加密标准。这个标准用来替代原先的DES（Data Encryption Standard），已经被多方分析且广为全世界所使用。经过五年的甄选流程，高级加密标准由美国国家标准与技术研究院 （NIST）于2001年11月26日发布于...
Hadoop MapReduce Spark 配置项
2019-09-19
阅读 1 分钟
2.5k适用范围 本文涉及到的配置项主要针对 Hadoop 2.x，Spark 2.x。 MapReduce 官方文档 [链接]左下角: mapred-default.xml 配置项举例 name value description mapreduce.job.reduce.slowstart.completedmaps 0.05 当 Map Task 完成的比例达到该值后才会为 Reduce Task 申请资源 mapreduce.output.fileoutputformat.compres...
数据库相关概念梳理（qbit）
2019-09-08
阅读 3 分钟
2.6k设计关系数据库时，遵从不同的规范要求，设计出合理的关系型数据库，这些不同的规范要求被称为不同的范式，各种范式呈递次规范，越高的范式数据库冗余越小。
MurmurHash Tips（qbit）
2019-09-06
阅读 5 分钟
3.8kMurmurHash 是一种非加密型哈希函数（Non-cryptographic hash function），适用于一般的哈希检索操作。与其它流行的哈希函数相比，对于规律性较强的 key，MurmurHash 的随机分布特征表现更良好。
Python3 文件（夹）基本操作（qbit）
2019-08-30
阅读 3 分钟
4.2k相关模块osos.pathshutilpathlib（New in version 3.4）基本操作判断文件(夹)是否存在。 {代码...} 判断路径名是否为文件。 {代码...} 判断路径名是否为目录。 {代码...} 创建文件。 {代码...} 复制文件。 {代码...} 删除文件。 {代码...} 清空文件。 {代码...} 创建目录。 {代码...} 复制目录。 {代码...} 重命名文件或...
Elasticsearch 7.x 常用命令
2019-08-27
阅读 7 分钟
6.5k推荐学习阮一鸣《Elasticsearch 核心技术与实战》集群信息查看欢迎信息 {代码...} 查看集群是否健康 {代码...} 查看热线程 {代码...} 查看节点堆内存状况 {代码...} 查看集群配置 {代码...} 查看节点列表 {代码...} 索引查看索引查看所有索引 {代码...} 查看某个索引的状态 {代码...} 查看某个索引的 mapping {代码...} ...
关系型数据库 与 MongoDB、Elasticsearch 强行对标
2019-08-27
阅读 1 分钟
1.7kRDBMS 即关系数据库管理系统(Relational Database Management System)，是将数据组织为相关的行和列的系统，而管理关系数据库的计算机软件就是关系数据库管理系统，常用的数据库软件有Oracle、SQL Server、MySQL等。
Python 获取本机 IP/MAC（多网卡）
2019-08-22
阅读 2 分钟
11.4k通过gethostname获取主机名，再用gethostbyname将主机名转换为IP地址。 那么，问题来了。如果主机有多个网卡/IP，怎样获取某个指定的IP地址呢？ 一个方法是通过 socket.gethostbyname_ex 获取主机IP地址列表，然后遍历列表取得自己需要的IP。
Python3 格式化时间
2019-08-22
阅读 3 分钟
2.2kISO 8601是国际标准化组织（ISO）制定的日期和时间的表示方法，全称为《数据存储和交换形式·信息交换·日期和时间的表示方法》。目前，ISO 8601是全球通用的日期和时间格式标准，它定义了日期和时间的表示方法，包括年、月、日、时、分、秒等1。除了ISO 8601之外，还有一些其他的日期和时间格式标准，例如RFC 3339、RFC 2...
正则备忘录（qbit)
2019-08-21
阅读 5 分钟
2.1k本文的示例默认以 Python3 为实现语言，用到 Python3 的 re 模块或 regex 库。据 qbit 猜测：在 Python3 的 Unicode 字符集下，re模块的 \s 匹配 \f\n\r\t\v 加全角半角空格，共 7 个字符。
Elasticsearch核心技术与实战·阮一鸣·核心知识点·课程目录
2019-08-11
阅读 2 分钟
12.5kElasticsearch 核心知识图谱 总图 原理 索引 搜索 聚合 运维 扩展 课程目录 一、初识 Elasticsearch 二、深入了解 Elasticsearch 三、管理 Elasticsearch 集群 四、利用 ELK 做大数据分析 五、应用实战工作坊 本文是阮一鸣《Elasticsearch核心技术与实战》的学习笔记。
在 Docker 中运行 Elasticsearch、Kibana 和 Cerebro（阿里云Ubuntu）
2019-08-10
阅读 4 分钟
5.8kCerebro 是一个使用 Scala，Play Framework，AngularJS 和 Bootstrap 构建的开源（MIT许可）elasticsearch web管理工具。 [链接]
Scrapy Tips
2019-08-08
阅读 5 分钟
2.8kScrapy 是一个用 Python 开发的 web 抓取框架，用于抓取 web 站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
sql 语句备忘（qbit）
2019-08-03
阅读 4 分钟
2.5k结构化查询语言(Structured Query Language)简称SQL，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。
在线工具备忘录（qbit）
2019-07-31
阅读 2 分钟
12.6k在线工具 [链接] 地理天文时空 坐标拾取： （1）、百度地图；（2）、高德地图。 经度时差查询 Google Earth Web 版 网络工具 网卡（MAC 地址）厂商查询：[链接] 代理匿名度检测：chacuo、cybersyndrome 打印http头：xhaus、urih、httpbin、RequestBin 查看本机外网ip：ip.cn、whatismyipaddress、ip.sb DNS 查询 IP WHOI...
Python Tips（qbit）
2019-07-30
阅读 5 分钟
2.4kpip {代码...} 第三方二进制扩展库（加利福尼亚大学欧文分校）：[链接]pip install 使用镜像 {代码...} pip install 使用代理 {代码...} 指定第三方库版本 {代码...} 离线安装依赖 {代码...} 名词解释PEP {代码...} PSF {代码...} PyPA {代码...} OTHERPython之禅（import this）Python Cookbook 3rd Edition Documentat...
Python3 Jupyter QtConsole
2019-07-30
阅读 1 分钟
3k声明 qbit 已发现比 Jupyter QtConsole 更好用的工具，参见： JupyterLab 快速配置 效果图 qbit 喜欢的功能：代码补全，一个问号（?）给出注释，两个问号浏览代码。 环境 操作系统：Windows 10 x64 1903 Python 3.6.7 x64 Jupyter QtConsole 4.5.2（官方文档） 步骤 安装ipython {代码...} 安装 pyreadline {代码...} 安...
Logstash 7.x 的安装与数据导入（阿里云Ubuntu）
2019-07-28
阅读 4 分钟
6.2k接上篇：Kibana 7.x 的安装与界面预览（阿里云Ubuntu） 系统环境 操作系统：Ubuntu 18.04 LTS（阿里云） 系统IP {代码...} Elasticsearch 版本：7.2 Kibana 版本：7.2 Logstash 版本：7.2 安装与配置 官方文档：[链接] Logstash 不同于 Elasticsearch 和 Kibana，需要单独安装 Java 环境 {代码...} 下载 logstash {代码....
Kibana 7.x 的安装与界面预览（阿里云Ubuntu）
2019-07-28
阅读 3 分钟
4.7k接上篇：Elasticsearch 7.x 的安装与简单配置（阿里云Ubuntu） 系统环境 操作系统：Ubuntu 18.04 LTS（阿里云） 系统IP {代码...} Elasticsearch 版本：7.2 Kibana 版本：7.2 安装与配置 官方文档：[链接] 下载 {代码...} 解压 {代码...} 后续操作在 kibana-7.2.0-linux-x86_64 目录内进行 {代码...} 编辑 ./config/kiba...
Elasticsearch 7.x 的安装与简单配置（阿里云Ubuntu）
2019-07-28
阅读 2 分钟
5.8k系统环境 操作系统：Ubuntu 18.04 LTS（阿里云） 系统IP {代码...} Elasticsearch 版本：7.2 Elasticsearch 从 7.0 开始内置了 Java 环境，无需单独安装JDK 安装 官方文档：[链接] 下载 {代码...} 解压 {代码...} 后续所有操作都在 elasticsearch-7.2.0 目录里面进行 {代码...} 编辑 ./config/elasticsearch.yml {代码.....
专利相关知识（qbit）
2019-07-25
阅读 7 分钟
3.1k专利是专利权的简称，它是国家（国家知识产权局）按专利法的规定授予申请人在一定时间内对其公开的发明创造成果所享有的独占、使用和处分的权利。专利权是一种财产权，是运用法律保护手段“跑马圈地”、独占现有市场、抢占潜在市场的有力武器。