要从这篇文章说起，之前帮nick拿数据的时候，就在想。既然 eth的所有数据都是公开的，那我是不是可以把所有的链上游戏的交易数据都拿下来，然后看看，

写爬虫的目的应该就是为了拿到数据，或者说模拟某种操作如果他使用的是http(s) 协议来传输数据的，那么我们就模拟http协议来发送数据如果它使用的是websocket协议来传输数据的，那么我们理所当然的就模拟websocket来发送数据~

大家爬取网页的时候，应该都遇到过这种情况  当我打印网页源代码的时候 发现 全部是乱码的 那这个时候应该怎么办呢？ requests是如何判断编码 首先，response.content返回的内容 是二进制内容 response.text 则是根据设置的encoding来解码 {代码...} 我们可以看到 ，当encoding为None的时候， 编码是通过chardet.detect...

原因 为啥要写这一篇文章呢？ （主要是qq群内有人在模拟登陆知乎，一直不成功）然后我抓包看了下，发现知乎登陆页已经改版了，而且难度大大提高了。 开始抓包 首先内，还是打开知乎首页，然后输入账号密码，登陆（记得输错密码） 这样我们就可以看到请求头了（请求头如下） 我们发现有这几个请求头和正常的不一样（红色...

本文章属于爬虫入门到精通系统教程第七讲 直接开始案例吧。 本次我们实现如何模拟登陆知乎。 1.抓包 首先打开知乎登录页 知乎 - 与世界分享你的知识、经验和见解 注意打开开发者工具后点击“preserve log”，密码记得故意输入错误，然后点击登录 我们很简单的就找到了 我们需要的请求 {代码...} 可以看到请求一共有三个参...

XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。XPath基于XML的树状结构，提供在数据结构树中找寻节点的能力。起初XPath的提出的初衷是将其作为一个通用的、介于XPointer与XSL间的语法模型。但是XPath很快的被开发者采用来当作小型查询语言。

本文章属于爬虫入门到精通系统教程第五讲 在爬虫入门到精通第四讲中，我们了解了如何下载网页，这一节就是如何从下载的网页中获取我们想要的内容 万能匹配 {代码...} 我们要获取的html 如上所示， 假如我们要获取文章的标题这几个文字，那么我们应该怎么做呢？ 我们只要能定位到它，也就能获取到它 那么，如何定位到它呢...

抓包（packet capture）就是将网络传输发送与接收的数据包进行截获、重发、编辑、转存等操作，也用来检查网络安全。抓包也经常被用来进行数据截取等。

超文本传输协议（英文：HyperText Transfer Protocol，缩写：HTTP）是互联网上应用最为广泛的一种网络协议。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。通过HTTP或者HTTPS协议请求的资源由统一资源标识符（Uniform Resource Identifiers，URI）来标识。HTTP的发展是由蒂姆·伯纳斯-李于1989年在欧洲核子...

环境的安装 本文章属于爬虫入门到精通系统教程第二讲 IDE的安装 IDE我用的是VS code，也用过pycharm（但是电脑配置不行，比较卡） VScode安装教程在这,写的蛮清楚的 然后安装一个python的插件就行见如下截图 点击数字1的地方 在数字2的地方输入python 点击python 0.5.8 右边的安装按钮 包的安装 配置pip源，不配置的话下...

网络蜘蛛（Web spider）也叫网络爬虫（Web crawler），蚂蚁（ant），自动检索工具（automatic indexer），或者（在FOAF软件概念中）网络疾走（WEB scutter），是一种“自动化浏览网络”的程序，或者说是一种网络机器人。它们被广泛用于互联网搜索引擎或其他类似网站，以获取或更新这些网站的内容和检索方式。它们可以自动...