python 判断语种

6 月 19 日
阅读 1 分钟
504
输出:('zh', -370.64875650405884)('ja', -668.9920794963837)('ja', -213.35927987098694)('ko', -494.80780935287476)('en', -56.482327461242676)('ja', -502.3459689617157)

imghdr --- 判断图像类型

6 月 3 日
阅读 1 分钟
416
{代码...}

Pycharm 常用快捷键

2021-04-23
阅读 2 分钟
3.4k
最常用的撤销与反撤销:Ctrl + z,Ctrl + Shift + z缩进、不缩进:Tab、Shift + tab运行:Shift + F10批量注释:Ctrl + /ctrl+w:选中单词鼠标双击:选中单词当光标在代码中间,如何回车到下一行:Shift + 回车当鼠标在代码下一行非开头位置,如何跳转到上一行末尾:Ctrl + backspace(退格键)当一行代码太长时,我们如何...

在Python中使用正则表达式去掉字符串里的html标签

2019-03-22
阅读 1 分钟
3.6k
{代码...} 最终输出 {代码...}

Scrapy 之 settings

2018-02-12
阅读 2 分钟
18.8k
Scrapy设置(settings)提供了定制Scrapy组件的方法。可以控制包括核心(core),插件(extension),pipeline及spider组件。比如 设置Json Pipeliine、LOG_LEVEL等。

反反爬虫相关机制

2018-02-10
阅读 5 分钟
8k
禁用Cookies(也就是不启用cookies middleware,不向Server发送cookies,有些网站通过cookie的使用发现爬虫行为)

Item Pipeline

2018-02-07
阅读 2 分钟
5.7k
当Item在Spider中被收集之后,它将会被传递到Item Pipeline,这些Item Pipeline组件按定义的顺序处理Item。

Scrapy Shell

2018-02-07
阅读 3 分钟
14k
Scrapy终端是一个交互终端,我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试XPath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据。

Scrapy 框架入门简介

2018-02-06
阅读 6 分钟
46k
Scrapy 使用了 Twisted'twɪstɪd异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各种需求。