scrapy爬取带下划线域名出错

Question

浏览器中能正常解析访问的link：

http://bsd_bj.b2b.huangye88.com/company_detail.html

scrapy执行出错的截图：

requests执行成功的截图：

请问有同学在使用scrapy爬取数据的时候遇到类似并成功解决的吗？类似的域名还有很多, 如：

chenran_groupca.b2b.huangye88.com
huawei_h3c_cisco.b2b.huangye88.com
yuzhenhua841104_.b2b.huangye88.com

Answer 1

怎么处理的呢。。。。哈哈哈哈哈哈哈哈 2017 年的东西了

可以修改 idna 包的 core.py 文件。
域名校验不让抛异常，正常走。 哈哈哈哈哈！（2019.11.06）