中国知网上面的文章,如何快速download

我现在有一个列表需要搜索,如“人参” ”野山参“ ”人参叶“等这样的keywords,大概有几百个,然后需要将与这些关键字相关的知网上面的文章给download下来,例如搜索人参就有8,982条结果,假设平均每一个keywords有5000条文章,有100个keywords,就是5000100,如果使用知网批量下载,大概需要点击5000100/20=25000次才能搞定。不知道利用爬虫有没有比较好的办法。目前搜索到的一篇非常有用的文章是https://my.oschina.net/VicoAn...
但是总出错,不知道能够将这篇文章的代码进行转换成python3格式。本人系python新手,刚接触爬虫,还望指导。请大虾们提供好的建议与思路

阅读 4.9k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进