curl/wget/httppie 示例(qbit)

2020-02-22
阅读 3 分钟
5.7k
简介 curl 简介 cURL(Client URL) 于 1997 年首次发布。 它最初命名为 urlget,然后在采用当前 cURL 名称之前变为 httpget。 {代码...} 原作者 Daniel Stenberg 创建 cURL 是为了自动为 IRC 用户获取货币汇率。 curl 可以用于下载,但侧重于模拟各种 http 请求,与网站 API 交互。 wget 简介 wget 原名 geturl,于 199...

MongoDB 两地三中心(qbit)

2020-02-15
阅读 3 分钟
3k
引子 本文是唐建法《MongoDB 高手课》的学习笔记 本文适配 MongoDB 4.2 理论 MongoDB 的容灾级别 两地三中心架构图 两地三中心要点 节点数量建议要 5 个,2+2+1 模式 主数据中心的两个节点要设置高一点的优先级,减少跨中心换主节点 同城双中心之间的网络要保证低延迟和带宽,满足 writeConcern: Majority 的双中心写需...

MongoDB 性能诊断工具(qbit)

2020-02-15
阅读 4 分钟
2.6k
引子 本文是唐建法《MongoDB 高手课》的学习笔记 本文对 MongoDB 4.2.x 适用 性能工具与方法 mongostat mongostat 是 MongoDB 自带的命令行工具,用于查看 MongoDB 运行状态 基本命令格式 {代码...} 示例(应特别关注 dirty 和 used) mongotop mongotop 是 MongoDB 自带的命令行工具,用于查看 collection 压力状态 基...

nc/netcat/ncat/socat 用法示例(qbit)

2020-02-02
阅读 1 分钟
3.3k
概述 原始 nc 等同于 netcat ncat 是 nmap 套件的一部分,CentOS 7 的 nc 指向 ncat。因为 nmap 本身就是做端口扫描的,所以 ncat 省略了 nc 的端口扫描功能。 ncat 与 socat 都号称自己是原始 nc 的增强版 scocat 端口释放很慢 回显 echo TCP 回显 仅仅回显,不打印。 {代码...} 回显并打印。 {代码...} UDP 回显 {代码...

cefpython3 调用浏览器示例(qbit)

2020-02-02
阅读 5 分钟
6k
cefpython3 并未全部实现 CEF 所有接口,CefSharp 紧跟 CEF 实现,如果对 Python 和 C# 都熟悉,CefSharp 是更好的选择。

端口扫描(qbit)

2020-01-30
阅读 2 分钟
4.9k
nmap nmap 简介 nmap 被称为“端口扫描之王” Zenmap 是官方出品的图形界面版本 nmap 部分参数说明 TCP Flags {代码...} nmap 的 6 种端口状态 nmap 把端口分成 6 种状态: {代码...} nmap 示例 快速(Fast)模式,扫描知名(Famous)端口 {代码...} 扫描一个范围的端口 {代码...} 指定 IP 段,指定端口,TCP 协议 {代码.....

关于 Python3 的编码(qbit)

2020-01-07
阅读 4 分钟
2.1k
Unicode 编号转字符 {代码...} 汉字与 gbk 十六进制/二进制之间的转换 {代码...} 数字与十六进制之间的转换 {代码...} 数字与八进制之间的转换 {代码...} 数字与二进制之间的转换 {代码...} bytes 相关 {代码...} bit 相关

Python 小数精度问题(0.09999999999999998)

2020-01-07
阅读 1 分钟
3.2k
现象 {代码...} 原因 大多数的十进制小数都不能精确地表示为二进制小数 就像十进制小数无法精确的表示 1/3 官方文档对此有专门论述: 浮点算术的争议与限制 解决方案 {代码...} 本文出自 qbit snap

用 Python 搭建最简单的 http 服务器

2019-12-26
阅读 5 分钟
33.4k
适用范围 本文内容对 Python 3.6.9 适用 静态网站 静态网站可以浏览静态网页,也可以用于文件下载。 http.server http.server 官方文档 Python3 搭建简单 http server,只能解析静态文件 {代码...} Twisted Twisted 官方文档 安装 Twisted {代码...} 帮助 {代码...} Web Server 示例 {代码...} WSGI wggiref 官方文档 示...

MongoDB 4.2 限制内存

2019-12-18
阅读 2 分钟
14.3k
先说结论 {代码...} 推荐学习唐建法《MongoDB 高手课》推荐阅读张友东MongoDB 如何使用内存?为什么内存满了?查看 MongoDB 内存使用情况mem {代码...} tcmalloc {代码...} 红框所示即为大致物理内存消耗storage.wiredTiger.engineConfig.cacheSizeGB从 MongoDB 3.4 开始, 这个参数默认值为下面二者中更大的一个:MBWind...

Elasticsearch 查询语句(Query DSL)

2019-12-02
阅读 3 分钟
4k
前言Query DSL {代码...} Elasticsearch 提供了基于 JSON 的 DSL 来定义查询。DSL 由叶子查询子句和复合查询子句两种子句组成。本文适配 Elasticsearch 7.x 版本推荐学习阮一鸣《Elasticsearch 核心技术与实战》Elasticsearch 查询层级图Query 上下文和 Filter 上下文在 query 上下文和 filter 上下文中,查询子句的行为...

Unicode 正则表达式(qbit)

2019-11-28
阅读 6 分钟
5.6k
前言本文根据《精通正则表达式》和 Unicode Regular Expressions 整理。本文的示例默认以 Python3 为实现语言,用到 Python3 的 re 模块或 regex 库。基本的 Unicode 属性分类 {代码...} 基本的 Unicode 子属性Letter {代码...} Mark {代码...} Separator {代码...} Symbol {代码...} Number {代码...} Punctuation {代...

Elasticsearch Analyzer

2019-11-26
阅读 2 分钟
4.6k
前言qbit 使用的 Elasticsearch 版本为 7.x 推荐学习阮一鸣《Elasticsearch 核心技术与实战》normalizer 之于 keyword,相当于 analyzer 之于 textAnalyzer 组成部分分析器(analyzer)由三部分组成:字符过滤器(CharacterFilters)、分词器(Tokenizer)和词元过滤器(TokenFilters)。analyzer / search_analyzer默认...

Windows 安装分区等问题(无法在此驱动器上安装 Windows)

2019-11-26
阅读 2 分钟
5.9k
walker 在安装原版 Windows Server 2008 R2 时遇到“安装程序无法创建新的系统分区,也无法定位现有分区”问题,记录一下解决过程。

MongoDB 的集群模式(qbit)

2019-11-22
阅读 1 分钟
2.6k
概述 当前(2019-11-22) MongoDB 的稳定版为 4.2.1 MongoDB 的集群模式有三种: 主从模式、副本集、分片集群。 主从模式(Master-Slave) 主从模式已过时,应该用副本集替换主从模式 从 MongoDB 3.2 开始,分片集群弃用(deprecate)主从模式作为组件 从 MongoDB 3.6 开始,弃用(deprecate)主从模式 从 MongoDB 4.0 ...

家庭百兆升级千兆全攻略

2019-11-22
阅读 1 分钟
4.7k
近日电信把家庭宽带给自动升成了300M,但奈何家里硬件限制,一直都无法享受超快的速度。于是乎,只有撸起袖子自己干,下面来看看我的踩坑之旅吧。

极简 Python 打包指南

2019-11-20
阅读 10 分钟
2.5k
项目的打包和发布很重要。大部分 Python 开发者对这一块并不熟悉,实际上,我们需要严肃地看待这个问题。毕竟,共享代码也是 Python 开发工作的一部分。因此,合理地使用 Python 内置的工具开共享代码很重要。虽然这是一个很大的话题,但由于篇幅的限制我无法全面介绍。这里只介绍常规的共享代码的方法。掌握这些方法后...

requests-html 快速入门

2019-11-20
阅读 6 分钟
2.9k
Python上有一个非常著名的HTTP库——requests,相信大家都听说过,用过的人都说好!现在requests库的作者又发布了一个新库,叫做requests-html,看名字也能猜出来,这是一个解析HTML的库,而且用起来和requests一样爽,下面就来介绍一下它。

Python 虚拟环境简介(qbit)

2019-11-20
阅读 2 分钟
2.2k
管理 Python 版本pyenvSimple Python Version Management与第三方包管理工具 pyenv-virtualenv 属于同一个项目Windows 下建议使用 pyenv-win 分支GitHub url: [链接]alternativesLinux 下可以用 alternatives 切换软件默认版本(不止是切换 Python)Ubuntu-18.04 Python2 与 Python3 自由切换管理第三方包版本pyenv-vir...

pymysql中 execute 和 executemany 性能对比,以及与原生SQL 相比如何

2019-11-18
阅读 3 分钟
8.8k
今天在mysql中插入大批量数据时,突然想起pymysql 还有executemany 方法,那么这两个方法到底谁快?快多少? 测试环境 python3 mysql pymysql 老规矩,先上测试代码: {代码...} 测试结果 方法量级耗时(s) 1W 10W 100W execute 3.126 25.139 248.022 executemany 0.1 0.981 10.854 总结 可以看出明显的区别,,如果需要批...

Python3 urllib.parse 常用函数示例(qbit)

2019-11-15
阅读 2 分钟
1.6k
获取url参数。 {代码...} 如果你还想问为什么没有urldecode,把上面的示例看五遍。^_^ parse_qs/parse_qsl {代码...} urlencode {代码...} quote/quote_plus {代码...} unquote/unquote_plus {代码...} 域名编码避免敏感词屏蔽。 {代码...} 本文出自 qbit snap

重要外文数据库简介(qbit)

2019-11-14
阅读 5 分钟
3.7k
SCI 从 1992 年开始属于汤姆森公司ISI 于 1992 年被加拿大汤姆森公司(The Thomson Corporation)的分公司 Thomson Scientific & Healthcare 收购,于是就成了有名的 Thomson ISI

Python3 中英文时间转换

2019-11-11
阅读 1 分钟
7k
{代码...} 附: %a 英文星期简写 %A 英文星期的完全 %b 英文月份的简写 %B 英文月份的完全 %c 显示本地日期时间 %d 日期,取1-31 %H 小时, 0-23 %I 小时, 0-12 %m 月, 01 -12 %M 分钟,1-59 %j 年中当天的天数 %w 显示今天是星期几 %W 第几周 %x 当天日期 %X 本地的当天时间 %y 年份 00-99间 %Y 年份的完整拼写

Python3 滑块验证码的破解

2019-11-09
阅读 3 分钟
6.3k
破解滑块验证码的思路主要有2种: 获得一张完整的背景图和一张有缺口的图片,两张图片进行像素上的一一对比,找出不一样的坐标。 获得一张有缺口的图片和需要验证的小图,两张图片进行二极化以及归一化,确定小图在图片中间的坐标。 之后就要使用初中物理知识了,使用直线加速度模仿人手动操作 本次就使用第2种,第一种...

Python3 检测文件真实类型(qbit)

2019-11-08
阅读 1 分钟
4.3k
测试环境 {代码...} 安装 filetype {代码...} 示例 code {代码...} 运行 {代码...} 相关链接 filetype GitHub 网址: [链接] 检测工具: TrIDNet - File Identifier 本文出自 qbit snap

Requests: 为人类设计的 HTTP 库

2019-10-23
阅读 3 分钟
3.6k
简介 Requests 是一个优雅易用的 HTTP 库,专为人类构建 Requests 的作者是 Kenneth Reitz 2019年,为专注于 requests3 的开发,Kenneth Reitz 将 requests2 转交给 PSF(Python 软件基金会)维护 PyPI 地址: [链接] 本文环境 {代码...} 安装 {代码...} {代码...} 技巧与示例 cookie 添加 cookie {代码...} 如果 sn.head...

XPath 与 CSS (parsel)

2019-10-23
阅读 2 分钟
2.9k
前言 XPath 即为XML路径语言(XML Path Language) 层叠样式表(Cascading Style Sheets)是一种用来表现 HTML或XML等文件样式的计算机语言 parsel 是从 Scrapy 独立出来的解析器,可以用 XPath 或 CSS 提取 XML 或 HTML 实例 XPath 取字符串包含的方法 {代码...} {代码...} XPath 与 CSS 比对 {代码...} {代码...} {代...

Python3 读取 toml 配置文件(UTF-8/UTF-8-BOM)

2019-10-17
阅读 2 分钟
3.4k
吐槽    先吐槽一下其他几个配置文件。ini:表达能力不够,比如不能表达列表等结构;没有官方注释符号,虽然一般以分号作为注释符号。json:没有官方注释符号,虽然某些第三方包提供了注释结构。yaml:语法比较复杂,可读性不太高。toml 简介TOML是前GitHub CEO, Tom Preston-Werner,于2013年创建的语言,其目标是成为...

Linux 查看某个用户组的所有用户(Python实现)

2019-10-17
阅读 1 分钟
1.9k
code {代码...} 使用 {代码...}

Linux 系统资源查看(qbit)

2019-10-17
阅读 3 分钟
1.6k
OS 版本 {代码...} 系统资源概览 {代码...} 内存 {代码...} 磁盘磁盘型号 {代码...} 随机读写 iops {代码...} 读写吞吐量 {代码...} 磁盘转速 {代码...} 分区与容量 {代码...} 快速检查磁盘是否健康 {代码...} 查看磁盘读写次数 {代码...} 查看磁盘 io {代码...} {代码...} CPU {代码...} 主板 {代码...} lshw查看 class...