爬虫的时候 文件名太长 如何处理?

Traceback (most recent call last):
  File "run.py", line 84, in <module>
    run().get_spider()
  File "run.py", line 73, in get_spider
    qimingpianReportDowload().start_request()
  File "/home/shenjianlin/my_project/spiders/qimingpianReportDowload/qimingpianReportDowload.py", line 31, in start_request
    with open(save_path, "wb") as code:
OSError: [Errno 36] File name too long: '/home/shenjianlin/pdf_file/非银行金融行业研究报告:长城证券-非银行金融行业《证券公司大集合资产管理业务适用《关于规范金融机构资产管理业务的指导意 见》操作指引》点评:资管新规下各项政策逐个击破,影响分化-181202'
阅读 3.5k
2 个回答

重定义文件名

产生一个唯一id作为物理文件名(比如UUID或者MD5),然后用一张目录表维护ID与逻辑文件名之间的关系。

目录表用文件、数据库表、redis等都可以,看你自己的喜好了。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题