普通的python爬虫是单进程单线程的，这样在遇到大量重复的操作时就只能逐个进行，我们就很难过了。举个栗子：你有1000个美图的链接，逐个喂给下载器（函数），看着图片只能一个个蹦出来，你不心急吗？于是我们想，能不能同时跑多个下载器，实现多图同时下载？——答案是可以的，使用多进程/多线程，把每个带着不同参数下载...

某些网站，登录和没登录，用户的权限是不一样的，帐号登录之后才能获取更多的信息。更有甚者一上来就是登录界面，不登录就不给你进去（如p站）。爬取目标不用登录固然是好，但需要时也没办法啊，这时如果还想爬取信息，就必须让爬虫学会登录。

selenium——自动化测试工具，专门为Web应用程序编写的一个验收测试工具，测试其兼容性，功能什么的。然而让虫师们垂涎的并不是以上的种种，而是其通过驱动浏览器获得的解析JavaScript的能力。所以说这货在动态爬取方面简直是挂逼级别的存在，相较于手动分析更简单易用，节省分析打码时间。

某宝评论区已经成功爬取了，jd的也是差不多的方法，说实话也没什么好玩的，我是看上它们分析简单，又没加密才拿来试手的。如果真的要看些有趣的评论的话，我会选择网易云音乐，里面汇聚了哲学家，小说家，story-teller，皮皮虾等各种人才，某些评论非常值得收藏（甚至开了一个歌单专门收藏它们）。竟然这么好玩，何不尝...

手动分析是一个比较有难度，比较麻烦的解决方案，但优点也很明显：速度快，又能培养我们爬虫的分析能力（重要）。如果链接有规律可循，建议能手动分析就手动分析，不能再上selenium（培养能力挺重要的不是麽？而且快的爬虫谁不想要呢？）

json是轻量级的文本数据交换格式，符合json的格式的字符串叫json字符串，其格式就像python中字符串化后的字典，有时字典中还杂着列表字典，但是里面的数据都被双引号包着，下面是一个例子

如果把BeautifulSopu比喻成通过线索一步步接近目标的侦探的话，那么正则表达式就是牛逼哄哄的“天眼系统”，只要提供一些目标的特征，无论搜索范围多大，只要存在那么一两个符合特征的目标，全都会被它直接逮住。

这是一个老掉牙的经典实例了，但越是经典，越有示范性作用，最重要的一点是，它是静态的。给出网站：[链接]打开F12/右键检查第一个电影，分析源码先，发现每个<li>标签就对应着一个电影的信息。

学了requests，了解了伪装技巧后，终于能爬到些比较正常的网页源码（html文档）了，但这离结果还差最后和是最重要的一步——筛选。这个过程就像在泥沙中淘金一样，没有合适的筛子，你就会把有价值的漏掉了，或者做了无用功把没用的也筛了出来。淘金者看土质，做筛子。对应到爬虫领域就是观察html，定制筛选器。

之前提到过，有些网站是防爬虫的。其实事实是，凡是有一定规模的网站，大公司的网站，或是盈利性质比较强的网站，都是有高级的防爬措施的。总的来说有两种反爬策略，要么验证身份，把虫子踩死在门口；要么在网站植入各种反爬机制，让爬虫知难而退。  本节内容就着这两种反爬策略提出一些对策。

本爬虫系列是面对有Python语法基础的读者写的，如果你没学过python，emmmm.....也没关系，你或许能从每篇文章中学到一些爬虫的思路；如果你的python基础语法已经应用自如，那是极好的。