如何提升mongodb find速率

王胖胖
  • 29

linkbase中存有几十万条url,数据如下所示:

{ "_id" : ObjectId("5a322cad6c85e0369ab54161"), "url" : "https://www.xxxx.com/", "status_code" : 0, "spider_name" : "test_spider", "crawl_time" : "2017-12-14 15:47:57" }
{ "_id" : ObjectId("5a322c9f6c85e03699b54227"), "url" : "https://www.xxxxaa.com/", "status_code" : 0, "spider_name" : "test_spider", "crawl_time" : "2017-12-14 15:47:43" }
{ "_id" : ObjectId("5a2f082c6c85e0c65bc553c9"), "url" : "https://aabb.com", "status_code" : 403, "spider_name" : "test_spider", "crawl_time" : "2017-12-12 06:35:24" }
{ "_id" : ObjectId("5a2f082b6c85e0c65bc553c8"), "url" : "https://cccc.com", "status_code" : 403, "spider_name" : "test_spider", "crawl_time" : "2017-12-12 06:35:23" }

我用数据库查询工具,db.linkbase.find({"spider_name":"test_spider"})大约耗时122秒
数据库有相关索引

[
    {
        "v" : 1,
        "key" : {
            "_id" : 1
        },
        "name" : "_id_",
        "ns" : "linkbase.linkbase"
    },
    {
        "v" : 1,
        "key" : {
            "spider_name" : 1
        },
        "name" : "spider_name_1",
        "ns" : "linkbase.linkbase"
    }
]

程序调用一个函数,max_requests每次取10个:

    def get_mongodb_linkbase(self,max_requests):
        linkbase = []
        for i in range(max_requests):
            result = self.db_linkbase_collection.find_one_and_delete({'spider_name':'test_spider'})
            if result == None:
                continue
            else:
                linkbase.append(result)
        return linkbase

可是爬虫运行的时候,感觉速度并不快,爬虫代码采用了协程gevent,每个协程开50个

    def handle_linkbase():
        while True:
            linkbase_info = mongo_insert.get_mongodb_linkbase(10)
            if len(linkbase_info) == 0:
                time.sleep(random.choice(range(60)))
            else:
                for url in linkbase_info:
                    test.header['User-Agent'] = random.choice(setting.user_agent)
                    test.save_url_to_task(url['url'],header=test.header)

    def gevent_fun_linkbase():
        jobs = [gevent.spawn(handle_linkbase) for i in range(50)]
        gevent.joinall(jobs)
        
     m2 = multiprocessing.Process(target=gevent_fun_linkbase)
     m2.start()
     m2.join()

并将协程放入多进程。也就是三个进程分别运行三个协程,每个协程里开50个程序。但是感觉速度并不快,甚至有卡顿现象。就是在tail -f log的时候,发现有几秒中,无信息输出,并且运行速度慢。

目前不太清楚是不是mongodb查询时候造成的卡顿。

感觉也不是代理造成的卡顿,requests我把重试关了,timeout为1.

请各位大牛帮忙分析。

回复
阅读 2.8k
2 个回答
我用数据库查询工具,db.linkbase.find({"spider_name":"test_spider"})大约耗时122秒

是122秒还是122ms?122秒的话相当慢了。
如果不确定是不是MongoDB方的问题,可以先用profiler看一下执行的查询到底花了多少时间。从你上面的信息来看,我比较倾向于不是数据库这一端慢。

经过排查,应该就是卡在requests那里了,代理的有效性不高。。。。。。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏