问答博客资讯标签用户活动
logo极客观点logo项目管理logoHarmonyOS
javascript
前端
python
node.js
react
vue.js
php
laravel
go
人工智能
mysql
linux
ios
java
android
css
typescript
spring
程序员
logoONES 研发管理logo思否企业问答logo安谋科技 XPU

抓取天猫详情页里面的月销量，反爬非常厉害

头像
prolifes
    11.2k51537

    现在需要抓取天猫详情页里面的月销量
    如https://detail.tmall.com/item...
    clipboard.png
    已分析得到是异步js返回的数据，接口如下
    https://mdskip.taobao.com/cor...

    clipboard.png
    这个地址访问几次就需要登录，登录之后多访问几次就需要输入验证码
    用代理换IP也一样
    各位大神有啥好办法

    python网页爬虫
    阅读 18.1k
    6 个回答
    得票最新
    头像
    sheep3
      9971412

      不登陆，直接换代理

      切换代理不要保持会话

      头像
      unofficial
        1.5k51121

        获取入口可以选择移动端入口，例如：入口

        数据直接就在页面上，获取数据就很容易了，关键字"sellCount"。

        头像
        freedom
          1
          新手上路，请多包涵

          根本就打不开啊

          头像
          艺灵
            401

            老哥，刚好前几天一同事问我这个问题，他当时也找的是这个接口，然后我在本地翻了翻之前存的一些非公开api，然后根据过期的api扔百度里面搜索了下，然后发现又有新的api了，无需登录，直接访问。
            提供线索如下：https://acs.m.taobao.com/h5/m... 图片描述

            头像
            秋赤音
              22
              新手上路，请多包涵

              浏览器访问多少次都不会要求登录，用代码调浏览器插件访问htmlunit

              clipboard.png

              用postman刷了50次也不会让我登录或者出现验证码，自己下个post试试，淘宝的反爬还是一般般。
              https://www.endclothing.com用的反爬才真的见鬼

              撰写回答
              你尚未登录，登录后可以
              • 和开发者交流问题的细节
              • 关注并接收问题和回答的更新提醒
              • 参与内容的编辑和改进，让解决方法与时俱进
              推荐问题