segmentfaultsegmentfault
注册登录
产品
社群
使用“Bing”搜本站使用“Google”搜本站使用“百度”搜本站✓站内搜索
注册登录
问答博客资讯标签用户活动

logo极客观点logo项目管理logoHarmonyOS
开发者社区

javascript
前端
python
node.js
react
vue.js
php
laravel
go
人工智能
mysql
linux
ios
java
android
css
typescript
spring
程序员

logoONES 研发管理logo思否企业问答logo安谋科技 XPU
问答博客资讯标签用户活动

logo极客观点logo项目管理logoHarmonyOS
开发者社区

javascript
前端
python
node.js
react
vue.js
php
laravel
go
人工智能
mysql
linux
ios
java
android
css
typescript
spring
程序员

logoONES 研发管理logo思否企业问答logo安谋科技 XPU

请教一个关于puppeteer的问题

头像
obliviousSing
    415
    发布于
    2019-01-10
    新手上路,请多包涵

    用node写了个服务接口,前端发出请求,接受到请求后就去抓取网页,如果有4,5个并发,puppeteer好像是排队打开的,导致请求就卡住了,响应特别慢,请问下这个有什么解决方案没?

    nodejs爬虫
    阅读 2.3k
    2 个回答
    得票最新
    头像
    吴震宇
      53115
      发布于
      2019-01-10

      你可以将爬取网页做成任务制,前端通过请求提交任务(任务保存后,立马返回了),后端依次处理爬取任务。

      头像
      沼泽
        8901310
        发布于
        2019-01-10

        你用一个page对象还是四五个page对象?

        查看全部 2 个回答
        推荐问题
        • node中使用request获取html文本内容编码异常的问题?
          实际打印结果:实际打印部分内容:�z<[��zml�1;��g���J��4�~b��J��6^M=i���F}�\�e�ž�������������e�Lc�1Ӟ��M�ή�ׅFm:�=^㱩ZkG��l/L�T⏃���ͱ&�=,0���sc��������B}do�՘�ŅFs�ze�9^i<�����涽 �/4��,�:�=�n��W�/����{���#�OG�'?�F�tn��9{��Ql�i5�481�4f�믬�hNO7���l6'��<?�����ܹ��zQ\�x�V�ͯ�ǎ/�=���/��>X����K�,޻�}...

          2 回答1.1k 阅读✓ 已解决

        相似问题
        • 关于nodejs爬虫的问题?

          2 回答2.7k 阅读✓ 已解决

        • 关于Node爬虫爬小说的问题

          2 回答4.8k 阅读✓ 已解决

        • 关于async这个库的mapLimit方法卡死的问题

          2 回答5.4k 阅读

        • 请教下 twitter 个人页面的重定向问题?

          1.8k 阅读

        • 关于node.js爬取Vue页面某数据爬取不到的问题?

          1 回答2k 阅读

        找不到问题?创建新问题
        宣传栏
        思否旗下产品
        SegmentFault
        思否企业服务
        思否公开课
        思否企业问答
        ONES 旗下产品
        ONES
        Tower
        为知笔记
        企业问答
        ONES.com
        项目管理百科
        资源
        每周精选
        用户排行榜
        帮助中心
        建议反馈
        声望
        勋章
        合作
        关于我们
        广告投放
        联系我们
        合作伙伴
        关注
        产品技术日志
        社区运营日志
        市场运营日志
        社区访谈
        条款
        服务协议
        隐私政策
        下载 App

        Copyright © 2011-2025 SegmentFault. 当前呈现版本 25.06.09

        浙ICP备15005796号-2浙公网安备33010602002000号ICP 经营许可 浙B2-20201554

        杭州堆栈科技有限公司版权所有

        思否 - 凝聚集体智慧,推动技术进步