社区活跃度或者贡献越来越受到重视,往往会作为获得工作或者承接项目的加分项。为了方便用户展示自己的社区资料,雨点儿网中增加了一个社区爬虫功能。

当前只爬取了用户主页上一些简单的信息,如果有需求请提到我们的项目议题中

效果如下

功能实现

代码放在了github上,源码

如图所示,在之前的架构上(http://segmentfault.com/a/1190000003808733),我增加了橙色虚线框内的部分,包括:

  • scrapyd:一个用于运行爬虫任务的webservice

  • spiders:使用scrapy框架实现的爬虫

  • mongo:存放爬取的数据

使用scrapy框架

scrapy是一个python爬虫框架,想要快速实现爬虫推荐使用这个。

可以参考如下资料自行学习:

  1. 官方文档官方例子

  2. 一个简单明了的入门博客注意:博客中scrapy的安装步骤可以简化,直接使用 pip install scrapy,安装过程中可能会缺少几个lib,ubuntu使用 apt-get install libffi-dev libxml2-dev libxslt1-dev -y

使用mongodb存储数据

mongo非常适合存储爬虫数据,支持异构数据。这意味着你可以随时改变爬虫策略抓取不同的数据,而不用担心会和以前的数据冲突(使用sql就需要蛋疼的修改表结构了)。

通过scrapy的pipline来集成mongo,非常方便。

安装mongo

apt-get install mongodb
pip install pymongo

使用xpath提取页面数据

在编写爬虫的过程中需要使用xpath表达式来提取页面数据,在chrome中可以使用XPath Helper来定位元素,非常方便。使用方法:

  1. 打开XPath Helper插件

  2. 鼠标点击一下页面,按住shift键,把鼠标移动到需要选取的元素上,插件会将该元素标记为黄色,并给出对应的xpath表达式,如下图:

  3. 在爬虫程序中使用这个表达式selector.xpath(..../text()").extract()

使用scrapyd把爬虫集成到系统中

编写好爬虫后,我门可以通过执行scrapy crawl spidername命令来运行爬虫程序,但这还不够。

通常我们通过手动或者定时任务(cron)来执行爬虫,而这里我们需要通过web应用来触发爬虫。即,当用户更新绑定的社交账号时,去执行一次爬虫。来分析一下:

  1. 爬虫执行过程中会阻塞当前进程,为了不阻塞用户请求,必须通过异步的方式来运行爬虫。

  2. 可能有多个用户同时更新资料,这就要求能够同时执行多个爬虫,并且要保证系统不会超载。

  3. 可以扩展成分布式的爬虫。

方案1:使用celery运行爬虫

鉴于项目当前的架构,准备使用celery来执行异步爬虫。但是碰到了两个问题:

  1. scrapy框架下,需要在scrapy目录下执行爬虫,否则无法获取到settings,这个用起来有点别扭,不过还能解决。

  2. celery中反复运行scrapy的爬虫会报错:raise error.ReactorNotRestartable()。原因是scrapy用的twisted调度框架,不可以在进程中重启。

stackoverflow上有讨论过这个问题,尝试了一下,搞不定,放弃这个方案。如果你有解决这个问题的方法,期待分享:)

方案2:使用scrapyd

scrapy文档中提到了可以使用scrapyd来部署scrapyd是一个用于运行scrapy爬虫的webservice,使用者能够通过http请求来运行爬虫。

你只需要使用scrapyd-client将爬虫发布到scrapyd中,然后通过如下命令就可以运行爬虫程序。

$ curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider2
{"status": "ok", "jobid": "26d1b1a6d6f111e0be5c001e648c57f8"}

这意味什么:

  1. 爬虫应用和自己的web应用完全解耦,只有一个http接口。

  2. 由于使用http接口,爬虫可以放在任何能够被访问的主机上运行。一个简易的分布式爬虫,不是吗?

  3. scrapyd使用sqlite队列来保存爬虫任务,实现异步执行。

  4. scrapyd可以同时执行多个爬虫,最大进程数可配,防止系统过载。

欢迎使用我们的爬虫功能来收集社交资料。

使用方法

  1. 成为雨点儿网用户,进入用户主页,点击编辑按钮

  2. 填写社交账号,点击更新按钮

  3. 爬虫会在几秒内完成工作,刷新个人主页就能看到你的社区资料了,你也可以把个人主页链接附在电子简历中哟:)

如果觉得我的文章对你有用,请随意赞赏

junnplus · 2015年10月23日

您好,对于使用celery调度scrapy我做了一些尝试,这是一个项目上的应用,不知道是不是最佳实践,但是是一种可行的方案。https://github.com/Junnplus/VirtualJudge/blob/master/VJ/libs/crawl.py

回复

miracledan 作者 · 2015年10月23日

谢谢分享,我尝试一下:)

回复

OldPanda · 2016年12月07日

关于反复运行爬虫我是这样解决的,希望有帮助

from multiprocessing import Process, Queue


def run_spider(spider, result_queue):
    scraped_items = []

    def aggregate_items(item, spider):
        scraped_items.append(item)
        return item

    process = CrawlerProcess()
    crawler = process.create_crawler(spider)
    crawler.signals.connect(aggregate_items, signal=signals.item_scraped)
    process.crawl(crawler)
    process.start()
    result_queue.put(scraped_items)


result_queue = Queue()
p = Process(target=run_spider, args=[spider, result_queue])
p.start()
p.join()
scraped_items = result_queue.get()

回复

miracledan 作者 · 2016年12月07日

谢谢

回复

载入中...
miracledan miracledan

1.8k 声望

发布于专栏

浅海科技

分享http://www.yudianer.com创业过程中的点点滴滴!

12 人关注