Python是一种计算机程序设计语言。你可能已经听说过很多种流行的编程语言，比如非常难学的C语言，非常流行的Java语言，适合网页编程的JavaScript语言等等。

这篇notebook是关于机器学习中logistic回归，内容包括基于logistic回归和sigmoid分类，基于最优化方法的最佳系数确定，从疝气病症预测病马的死亡率。操作系统：ubuntu14.04 运行环境：anaconda-python2.7-jupyter notebook 参考书籍：机器学习实战和源码 notebook writer ----方阳

这篇博客是关于机器学习中基于概率论的分类方法--朴素贝叶斯，内容包括朴素贝叶斯分类器，垃圾邮件的分类，解析RSS源数据以及用朴素贝叶斯来分析不同地区的态度.

这篇notebook是关于机器学习监督学习中的决策树算法，内容包括决策树算法的构造过程，使用matplotlib库绘制树形图以及使用决策树预测隐形眼睛类型. 操作系统：ubuntu14.04（win也ok） 运行环境：anaconda-python2.7-jupyter notebook 参考书籍：机器学习实战和源码 notebook writer ----方阳

这篇notebook是关于机器学习中监督学习的k近邻算法，将介绍2个实例，分别是使用k-近邻算法改进约会网站的效果和手写识别系统.操作系统：ubuntu14.04 运行环境：anaconda-python2.7-notebook 参考书籍：机器学习实战 notebook writer ----方阳

爬虫最大的敌人之一是什么？没错，验证码！[Geetest]作为提供验证码服务的行家，市场占有率还是蛮高的。遇到Geetest提供的滑动验证码怎么破？

原文链接及原作者：Python3网络爬虫快速入门实战解析 | Jack Cui 一、前言 强烈建议：请在电脑的陪同下，阅读本文。本文以实战为主，阅读过程如稍有不适，还望多加练习。 本文的实战内容有： 网络小说下载(静态网站) 优美壁纸下载(动态网站) 爱奇艺VIP视频下载 二、网络爬虫简介 网络爬虫，也叫网络蜘蛛(Web Spider)。它...

原文链接：[链接] 目的 Scrapy框架为文件和图片的下载专门提供了两个Item Pipeline 它们分别是： FilePipeline ImagesPipeline 这里主要介绍ImagesPipeline！！ 目标分析： 这次我们要爬的是汽车之家：car.autohome.com.cn。最近喜欢吉利博越，所以看了不少这款车的资料。 我们就点开博越汽车的图片网站： [链接] 传统的...

原文链接：[链接] 目的 写一个真正意义上一个爬虫，并将他爬取到的数据分别保存到txt、json、已经存在的mysql数据库中。 目标分析： 这次我们要爬的是 中国天气网：[链接] 。随便点开一个城市的天气比如合肥： [链接] 。我们要爬取的就是图中的：合肥七天的前期预报： 数据的筛选： 我们使用chrome开发者工具，模拟鼠标...

虽然我们利用一些库开发一个爬虫程序，但是使用框架可以大大提高效率，缩短开发时间。Scrapy是一个使用Python编写的，轻量级的框架，简单轻巧，并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作，它为我们完成了大量的工作，而不需要自己费大力气去开发。

Scrapy提取数据有自己的一套机制，被称作选择器（selectors）,通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分, Xpath是专门在XML文件中选择节点的语言，也可以用在HTML上。 CSS是一门将HTML文档样式化的语言，选择器由它定义，并与特定的HTML元素的样式相关联。而且这些选择器构造于‘lxml’之上，这就意味着Scrap...

这次介绍一个及其强大的爬虫框架---Scrapy，Scrapy由 Python 编写，是一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

经过前期大量的学习与准备，我们重要要开始写第一个真正意义上的爬虫了。本次我们要爬取的网站是：百度贴吧，一个非常适合新人练手的地方，那么让我们开始吧。本次要爬的贴吧是<< 西部世界 >>，西部世界是我一直很喜欢的一部美剧，平时有空也会去看看吧友们都在聊些什么。所以这次选取这个吧来作为实验材料。

想要学习爬虫，正则表达式是一定绕不过去的一关。正则表达式是我们在筛选文本数据是经常使用的利器。简单来说，一个正则表达式表达了符合这一规则的一系列的文本。

网络爬虫的最终目的就是过滤选取网络信息，最重要的部分可以说是解析器。解析器的优劣决定了爬虫的速度和效率。bs4库除了支持我们上文用过的‘html.parser’解析器外，还支持很多第三方的解析器，下面我们来对他们进行对比分析。