爬虫的分层结构

头像
已注销
    阅读 1 分钟
    1

    抓取层

    1. 主要作用是获取原始网页的HTML数据或者JSON数据

    调度层

    1. 负责准备即将爬取的URL与分配爬取任务

    解析层

    1. 将原始数据解析为结构化数据，保存至数据库

    存储层

    1. 负责将数据保存到数据库
    python
    已注销
    981 声望48 粉丝

    Focus on programming efficiency

    « 上一篇
    智能web网页爬虫原理，不用写一行代码
    下一篇 »
    下一代 Python 异步web框架

    引用和评论

    推荐阅读
    头像
    2022小红书app爬虫思路

    已注销赞 1阅读 4.9k

    头像
    Python装饰器：让你的代码优雅又高效的秘密武器

    LLLibra146赞 4阅读 4.2k

    头像
    从javascript到python(一):基本环境搭建

    深圳飘赞 2阅读 4.9k

    头像
    MurmurHash Tips（qbit）

    qbit阅读 3.9k

    头像
    关于小红书卡片跳转微信的技术研究报告

    TANKING赞 1阅读 1.8k

    头像
    python解释器, conda, miniconda, Pycharm之间的关系

    细节的温柔阅读 3.6k

    头像
    你不知道的Requests进阶技巧：用Retry实现完美重试

    LLLibra146赞 1阅读 819

    0 条评论
    得票最新