Scrapy里怎么判断一个url是否有效？

Question

我有一个列表存了很多url，有很多都是无效的，想知道如何判断一个链接是否有效，除了状态码的方式，因为很多网站并不会返回状态码，很多比如加载很长时间最后还是打不开，或者出现那种能进去但是里面显示一个访问不存在，这种算是有效链接里面的无效链接吧，该怎么判断呢，求大神们支招！

Answer 1

给请求加上timeout吧，1-5秒你自己看着弄，超时就认为他无效就行了

Answer 2

设置 timeout，然后设置 retry 次数，全部失败认为 url 不可用。