如何提高python查询速度?

最近在爬股票的相关新闻,一开始设想的是,当有新的新闻动态发布,程序通过邮件发送最新内容到邮箱。

所以我想把新闻标题,内容存到数据库里,当内容更新时,把新的内容和数据库的标题列表对比,看是不是已存在的,如果已存在,那就不发送,如果没有,那发送到邮箱。

但数量大了以后,列表查询速度就会变慢,请问各位还有什么方法可以传授下吗?

阅读 3k
2 个回答

爬虫任务去重

抓过的链接存到一个set中,检查新链接是否在集合中即可。

去重有很多方法,比如楼上的set或者布隆过滤器都可以有效的使用内存,提升效率

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题