网络请求没有回应?

node练习爬虫,循环发送了 300多次的请求 出现的问题是,部分请求没有返回任何值,报错也没有,请问可能原因是什么

背景:我把小说章节的地址都储存了,然后循环请求这些地址获取文本内容,异步的请求很快, 几秒内就会得到200多章的内容,但是这时就会停住,没有了反应,其他的请求到哪去了?

阅读 438
评论
    1 个回答

    可能是超时,可以设置一下socket的超时时间。如果不设置超时,那么是默认时间,需要等很久。
    代码如下:

    # 单位为秒
    timeout = 2
    socket.setdefaulttimeout(timeout)
    

    另外,可以加入except异常做超时处理。

    except socket.timeout:
    

    详见Python爬虫之urllib库—进阶篇,希望帮到楼主。

      相似问题
      推荐文章