Python3 滑块验证码的破解

2019-11-09
阅读 3 分钟
6k
破解滑块验证码的思路主要有2种: 获得一张完整的背景图和一张有缺口的图片,两张图片进行像素上的一一对比,找出不一样的坐标。 获得一张有缺口的图片和需要验证的小图,两张图片进行二极化以及归一化,确定小图在图片中间的坐标。 之后就要使用初中物理知识了,使用直线加速度模仿人手动操作 本次就使用第2种,第一种...

Python3 检测文件真实类型(qbit)

2019-11-08
阅读 1 分钟
4.1k
测试环境 {代码...} 安装 filetype {代码...} 示例 code {代码...} 运行 {代码...} 相关链接 filetype GitHub 网址: [链接] 检测工具: TrIDNet - File Identifier 本文出自 qbit snap

Requests: 为人类设计的 HTTP 库

2019-10-23
阅读 3 分钟
3.5k
简介 Requests 是一个优雅易用的 HTTP 库,专为人类构建 Requests 的作者是 Kenneth Reitz 2019年,为专注于 requests3 的开发,Kenneth Reitz 将 requests2 转交给 PSF(Python 软件基金会)维护 PyPI 地址: [链接] 本文环境 {代码...} 安装 {代码...} {代码...} 技巧与示例 cookie 添加 cookie {代码...} 如果 sn.head...

XPath 与 CSS (parsel)

2019-10-23
阅读 2 分钟
2.8k
前言 XPath 即为XML路径语言(XML Path Language) 层叠样式表(Cascading Style Sheets)是一种用来表现 HTML或XML等文件样式的计算机语言 parsel 是从 Scrapy 独立出来的解析器,可以用 XPath 或 CSS 提取 XML 或 HTML 实例 XPath 取字符串包含的方法 {代码...} {代码...} XPath 与 CSS 比对 {代码...} {代码...} {代...

Python3 读取 toml 配置文件(UTF-8/UTF-8-BOM)

2019-10-17
阅读 2 分钟
3.1k
吐槽    先吐槽一下其他几个配置文件。ini:表达能力不够,比如不能表达列表等结构;没有官方注释符号,虽然一般以分号作为注释符号。json:没有官方注释符号,虽然某些第三方包提供了注释结构。yaml:语法比较复杂,可读性不太高。toml 简介TOML是前GitHub CEO, Tom Preston-Werner,于2013年创建的语言,其目标是成为...

Linux 查看某个用户组的所有用户(Python实现)

2019-10-17
阅读 1 分钟
1.8k
code {代码...} 使用 {代码...}

Linux 系统资源查看(qbit)

2019-10-17
阅读 3 分钟
1.6k
OS 版本 {代码...} 系统资源概览 {代码...} 内存 {代码...} 磁盘磁盘型号 {代码...} 随机读写 iops {代码...} 读写吞吐量 {代码...} 磁盘转速 {代码...} 分区与容量 {代码...} 快速检查磁盘是否健康 {代码...} 查看磁盘读写次数 {代码...} 查看磁盘 io {代码...} {代码...} CPU {代码...} 主板 {代码...} lshw查看 class...

关于 SUID, SGID 和 Sticky(qbit)

2019-10-17
阅读 1 分钟
1.2k
SUID Set-user Identification SUID 属性只能运用在可执行文件上,当用户执行该执行文件时,会临时拥有该可执行文件所有者的权限。 示例 {代码...} SGID Set-group identification SGID 属性可以应用在目录或可执行文件上。当SGID属性应用在目录上时,该目录中所有建立的文件或子目录的拥有组都会是该目录的拥有组。 示...

Linux 用户管理相关命令(qbit)

2019-10-17
阅读 1 分钟
1.4k
相关文件口令文件(/etc/passwd)中的登录项有7个以冒号分隔的字段组成,依次是: {代码...} 加密口令存放在 /etc/shadow 中。组文件(/etc/group)将组名映射为数值的组ID,其中4个字段依次是: {代码...} 用户相关创建用户 {代码...} {代码...} 删除用户 {代码...} 创建或修改用户密码 {代码...} 查看用户登录日志。 {...

VSCode Tips(qbit)

2019-10-16
阅读 2 分钟
1.2k
快捷键打开命令面板,快速打开最近使用的文件 {代码...} 打开命令面板,显示所有命令 {代码...} 跳转到行 {代码...} 函数列表 {代码...} 列编辑 {代码...} 格式化整个文档 {代码...} 格式化选定代码 {代码...} 快捷键官方文档:Key Bindings for Visual Studio Codesettings.json {代码...} Pythonflake8 + yapf(推荐)...

Spark2 的序列化(JavaSerializer/KryoSerializer)

2019-10-12
阅读 3 分钟
6k
KryoSerializer 比 JavaSerializer 效率高很多,但是不支持所有对象的序列化(比如??),在使用时需要手动注册自定义类。如果不注册,性能比 JavaSerializer 更糟糕。

IntelliJ IDEA Tips

2019-10-11
阅读 1 分钟
1.6k
生成注释 idea自动生成方法注释(含参数及返回值) qbit 在 IntelliJ IDEA 2019.2 社区版的设置如下Template text {代码...} groovy 脚本 {代码...} maven 添加本地 jar 包 添加到本地仓库 以添加 4mc 2.1.0 为例进入 bin 目录,qbit 的路径是 {代码...} 进入 cmd 执行命令 {代码...} pom.xml 添加依赖 {代码...} 本文出...

Oozie(HUE) 调度 Spark2

2019-10-11
阅读 6 分钟
3.4k
环境 {代码...} yarn local 模式 进入 Workspace 进入 lib 目录,并上传 jar 和 配置文件 拖拽 Spark Program 选择刚才的 lib 目录 填入 jar 名称,点击 add 确认 填写业务主类名称,并配置参数 点击小齿轮,查看其他参数 保存配置 提交运行 yarn cluster 模式 进入 Workspace 进入 lib 目录,并上传 jar 和 配置文件 拖...

Spark RDD 转化操作与行动操作

2019-09-25
阅读 4 分钟
3.8k
本文摘自《Spark 快速大数据分析》 概述 RDD 支持两种操作:转化操作(Transformation)和行动操作(Action)。 转化操作时返回一个新的 RDD 的操作,比如 map() 和 filter()。 行动操作则是向驱动器程序返回结果或把结果写入外部系统的操作,会触发实际的计算,比如 count() 和first()。 Spark 对待转化操作和行动操作...

Spark 2.x 与 Java 8 下 WordCount 示例

2019-09-25
阅读 7 分钟
3.6k
运行环境 {代码...} RDD, 不用 lambda,reduceByKey import {代码...} main {代码...} RDD + reduceByKey import {代码...} main {代码...} RDD + countByValue import {代码...} main {代码...} DataFrame/DataSet + SQL import {代码...} main {代码...} DataSet/DataFrame + groupBy import {代码...} main {代码...}...

AES 加密解密示例(qbit)

2019-09-19
阅读 2 分钟
2k
密码学中的高级加密标准(Advanced Encryption Standard,AES),又称Rijndael加密法,是美国联邦政府采用的一种区块加密标准。这个标准用来替代原先的DES(Data Encryption Standard),已经被多方分析且广为全世界所使用。经过五年的甄选流程,高级加密标准由美国国家标准与技术研究院 (NIST)于2001年11月26日发布于...

Hadoop MapReduce Spark 配置项

2019-09-19
阅读 1 分钟
2.4k
适用范围 本文涉及到的配置项主要针对 Hadoop 2.x,Spark 2.x。 MapReduce 官方文档 [链接]左下角: mapred-default.xml 配置项举例 name value description mapreduce.job.reduce.slowstart.completedmaps 0.05 当 Map Task 完成的比例达到该值后才会为 Reduce Task 申请资源 mapreduce.output.fileoutputformat.compres...

数据库相关概念梳理(qbit)

2019-09-08
阅读 3 分钟
2.5k
设计关系数据库时,遵从不同的规范要求,设计出合理的关系型数据库,这些不同的规范要求被称为不同的范式,各种范式呈递次规范,越高的范式数据库冗余越小。

MurmurHash Tips(qbit)

2019-09-06
阅读 5 分钟
3.5k
MurmurHash 是一种非加密型哈希函数(Non-cryptographic hash function),适用于一般的哈希检索操作。与其它流行的哈希函数相比,对于规律性较强的 key,MurmurHash 的随机分布特征表现更良好。

Python3 文件(夹)基本操作

2019-08-30
阅读 3 分钟
3.9k
相关模块osos.pathshutilpathlib(New in version 3.4)基本操作判断文件(夹)是否存在。 {代码...} 判断路径名是否为文件。 {代码...} 判断路径名是否为目录。 {代码...} 创建文件。 {代码...} 复制文件。 {代码...} 删除文件。 {代码...} 清空文件。 {代码...} 创建目录。 {代码...} 复制目录。 {代码...} 重命名文件或...

Elasticsearch 7.x 常用命令

2019-08-27
阅读 6 分钟
6.2k
推荐学习阮一鸣《Elasticsearch 核心技术与实战》集群信息查看欢迎信息 {代码...} 查看集群是否健康 {代码...} 查看节点堆内存状况 {代码...} 查看集群配置 {代码...} 查看节点列表 {代码...} 索引查看索引查看所有索引 {代码...} 查看某个索引的状态 {代码...} 查看某个索引的 mapping {代码...} 查看某个索引的 settin...

关系型数据库 与 MongoDB、Elasticsearch 强行对标

2019-08-27
阅读 1 分钟
1.6k
RDBMS 即关系数据库管理系统(Relational Database Management System),是将数据组织为相关的行和列的系统,而管理关系数据库的计算机软件就是关系数据库管理系统,常用的数据库软件有Oracle、SQL Server、MySQL等。

Python 获取本机 IP/MAC(多网卡)

2019-08-22
阅读 2 分钟
10.6k
通过gethostname获取主机名,再用gethostbyname将主机名转换为IP地址。  那么,问题来了。如果主机有多个网卡/IP,怎样获取某个指定的IP地址呢?  一个方法是通过 socket.gethostbyname_ex 获取主机IP地址列表,然后遍历列表取得自己需要的IP。

Python3 格式化时间

2019-08-22
阅读 3 分钟
2k
ISO 8601是国际标准化组织(ISO)制定的日期和时间的表示方法,全称为《数据存储和交换形式·信息交换·日期和时间的表示方法》。目前,ISO 8601是全球通用的日期和时间格式标准,它定义了日期和时间的表示方法,包括年、月、日、时、分、秒等1。除了ISO 8601之外,还有一些其他的日期和时间格式标准,例如RFC 3339、RFC 2...

正则备忘录(qbit)

2019-08-21
阅读 5 分钟
2k
本文的示例默认以 Python3 为实现语言,用到 Python3 的 re 模块或 regex 库。据 qbit 猜测:在 Python3 的 Unicode 字符集下,re模块的 \s 匹配 \f\n\r\t\v 加全角半角空格,共 7 个字符。

Elasticsearch核心技术与实战·阮一鸣·核心知识点·课程目录

2019-08-11
阅读 2 分钟
12.1k
Elasticsearch 核心知识图谱 总图 原理 索引 搜索 聚合 运维 扩展 课程目录 一、初识 Elasticsearch 二、深入了解 Elasticsearch 三、管理 Elasticsearch 集群 四、利用 ELK 做大数据分析 五、应用实战工作坊 本文是阮一鸣《Elasticsearch核心技术与实战》的学习笔记。

在 Docker 中运行 Elasticsearch、Kibana 和 Cerebro(阿里云Ubuntu)

2019-08-10
阅读 4 分钟
5.6k
Cerebro 是一个使用 Scala,Play Framework,AngularJS 和 Bootstrap 构建的开源(MIT许可)elasticsearch web管理工具。 [链接]

Scrapy Tips

2019-08-08
阅读 5 分钟
2.7k
Scrapy 是一个用 Python 开发的 web 抓取框架,用于抓取 web 站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。

sql 语句备忘(qbit)

2019-08-03
阅读 4 分钟
2.4k
结构化查询语言(Structured Query Language)简称SQL,是一种特殊目的的编程语言,是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统。

在线工具备忘录(qbit)

2019-07-31
阅读 2 分钟
12.4k
在线工具 [链接] 地理天文时空 坐标拾取: (1)、百度地图;(2)、高德地图。 经度时差查询 Google Earth Web 版 网络工具 网卡(MAC 地址)厂商查询:[链接] 代理匿名度检测:chacuo、cybersyndrome 打印http头:xhaus、urih、httpbin、RequestBin 查看本机外网ip:ip.cn、whatismyipaddress、ip.sb DNS 查询 IP WHOI...