极客观点
项目管理
HarmonyOS
抓取天猫的商品列表数据，但是一页的数据量是60条商品，一页的数据量大小为530k，有效的列表数据是200k左右。
现在抓取的时间太慢了,我使用的是 curl 进行抓取，在执行curl_exec的时候，执行时间达到了7-9s
通过正则去分解列表页我觉得是做不到，好像是可以规定从多少k的数据量大小的位置进行抓取，到哪里结束？？
使用php抓取网页数据时，速度太慢
阅读 5.8k
撰写回答
你尚未登录，登录后可以
- 和开发者交流问题的细节
- 关注并接收问题和回答的更新提醒
- 参与内容的编辑和改进，让解决方法与时俱进
推荐问题
求java/php大佬帮帮忙？
最近遇到一个需求，需要对接第三方平台，然后对面只给公钥和私钥 ，本身我是用php开发的，第三方的demo 是java 头大完全不知道什么意思，看不懂java写法 有没有大哥帮我写个php的类这是第三方demo提供的加密加签方法以下是完整文件package com.example.guojindemo.utils;1 回答4.1k 阅读✓ 已解决
新人求看下如何用php对接第三方接口?
新人求解第三方的对接口怎么写curl 求大神写个php 的curl3 回答1.9k 阅读✓ 已解决
Hyperf Swagger 如何使用？
根据 https://hyperf.wiki/3.1/#/zh-cn/swagger?id=hyperf-swagger 官方文档安装配置，但是文档太简单了，出了问题不知道怎么排查，网络文章写的也让人摸不着头脑，不知道别人的json 是怎么生成的。2 回答2.3k 阅读✓ 已解决
我想要可靠地升级网站，有没有标准的流程？或者需要注意的地方？
网上搜不到，不知道是不是我用的关键词不对。我用“网站升级 流程”和“update website”在谷歌搜的。我还找了一本运维的书，结果扫了一眼目录和可能贴边的地方也没有。2 回答783 阅读✓ 已解决
Laravel Framework 11.38.2 版本 路由调用api接口报错404？
使用web接口都可以调用但使用api接口就报错web文件api文件这是为什么呢？有大佬知道吗？1 回答1.4k 阅读✓ 已解决
在Windows下开发的gin项目如何不是linux下的宝塔？
在windows下用gin开发了一个电商平台，要如何部署到公司linux服务器上，服务器是用宝塔搭建管理？2 回答2.3k 阅读
为什么 DataCap 服务通过 localhost 可以访问，但 IP+端口无法访问？
在 DataCap 服务部署成功后，使用 curl localhost:9096 可以访问成功，但是通过 IP+端口 无法访问通。1 回答451 阅读✓ 已解决
普通的网页服务器一般不设分段下载的机制，所以也没法拆分数据。如果仅500K的内容就抓这么久，看来你需要检查CURL的配置或者网络问题了。