我现在有一个列表需要搜索,如“人参” ”野山参“ ”人参叶“等这样的keywords,大概有几百个,然后需要将与这些关键字相关的知网上面的文章给download下来,例如搜索人参就有8,982条结果,假设平均每一个keywords有5000条文章,有100个keywords,就是5000100,如果使用知网批量下载,大概需要点击5000100/20=25000次才能搞定。不知道利用爬虫有没有比较好的办法。目前搜索到的一篇非常有用的文章是https://my.oschina.net/VicoAn...
但是总出错,不知道能够将这篇文章的代码进行转换成python3格式。本人系python新手,刚接触爬虫,还望指导。请大虾们提供好的建议与思路