问答博客资讯标签用户活动
logo极客观点logo项目管理logoHarmonyOS
javascript
前端
python
node.js
react
vue.js
php
laravel
go
人工智能
mysql
linux
ios
java
android
css
typescript
spring
程序员
logoONES 研发管理logo思否企业问答logo安谋科技 XPU

scrapy 处理 文章 分页的内容

头像
向日一说
    25766588

    如一篇文章有2-3页，然后想把这些内容页爬下来，拼接成一页，然后再放入数据库。
    文章url如：article_1.html,article_2.html
    item有：item['title'],item['content']
    而item['content']就是拼接成一页的内容。
    大概怎么写呢？

    pythonscrapy
    阅读 4.2k
    3 个回答
    得票最新
    头像
    suparek
      21154454

      找到那个下一页的链接，加入到爬取url列表中

      头像
      0xabcd
        15232638

        可以在rules里面写正则自动扫描符合的url

        头像
        屎壳螂
          5811412

          找到分页接口url

          撰写回答
          你尚未登录，登录后可以
          • 和开发者交流问题的细节
          • 关注并接收问题和回答的更新提醒
          • 参与内容的编辑和改进，让解决方法与时俱进
          推荐问题