scrapy 明明在settings中设置 'INFO',但用CrawlerProcess运行的时候,为什么是DEBUG?

我在scrapy的settings中设置了LOG_LEVEL = 'INFO',但我用CrawlerProcess将多个项目在一个进程中运行的时候,日志显示为DEBUG,这是为什么?'INFO'比较省些资源吧?
用的是官网的第一个案例,
clipboard.png
类似这样,再运行该文件。

阅读 5.7k
2 个回答

请加载设置


from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

process = CrawlerProcess(get_project_settings()) #加载项目设置

# 'followall' 是爬虫项目中的爬虫示例
process.crawl('followall', domain='scrapinghub.com')
process.start() # the script will block here until the crawling is finished

https://doc.scrapy.org/en/lat...


这个代码示例是展示直接运行爬虫,运行爬虫项目需加载项目设置

把DEBUG的包 比如urllib3,根据这个改
logging.getLogger("urllib3").setLevel(logging.WARNING)

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题
宣传栏