通俗的说爬虫就是通过一定的规则策略，自动抓取、下载互联网上网页，在按照某些规则算法对这些网页进行数据抽取、 索引。  像百度、谷歌、今日头条、包括各类新闻站都是通过爬虫来抓取数据。