scrapy 明明在settings中设置 'INFO',但用CrawlerProcess运行的时候,为什么是DEBUG?

千里馬
  • 78

我在scrapy的settings中设置了LOG_LEVEL = 'INFO',但我用CrawlerProcess将多个项目在一个进程中运行的时候,日志显示为DEBUG,这是为什么?'INFO'比较省些资源吧?
用的是官网的第一个案例,
clipboard.png
类似这样,再运行该文件。

回复
阅读 4.2k
2 个回答
✓ 已被采纳

请加载设置


from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

process = CrawlerProcess(get_project_settings()) #加载项目设置

# 'followall' 是爬虫项目中的爬虫示例
process.crawl('followall', domain='scrapinghub.com')
process.start() # the script will block here until the crawling is finished

https://doc.scrapy.org/en/lat...


这个代码示例是展示直接运行爬虫,运行爬虫项目需加载项目设置

把DEBUG的包 比如urllib3,根据这个改
logging.getLogger("urllib3").setLevel(logging.WARNING)

宣传栏