Python 如何快速检测URL（50W+）有效性及解析IP地址区域？

Question

URL存放于文本（CSV）当中，需要检测URL的有效性，并解析IP地址及其对应物理位置，然后将结果追加至URL所在行

样本数据

1,www.qq.com,腾讯
2,www.baidu.com,百度
.
.
.

预期结果

1,www.qq.com,腾讯,有效,61.129.7.47,上海市电信
2,www.baidu.com,百度,有效,14.215.177.39,广东省广州市 北京百度网讯科技有限公司电信节点
.
.
.

python新手，自己的思路是分块读取URL，然后逐个URL检测有效性和解析IP等，但是这种单一模式检测对于50W+数量的任务势必慢得发狂....加上我对多进程、协程理解不透彻，希望通过此实例来学习多进程和协程。

希望回答的大佬们留下思路和代码注解！！

Answer 1

这个答案可能对你有帮助

https://stackoverflow.com/a/1...

还有这个

https://github.com/lorenzog/d...

Answer 2

先说一个问题，这种大厂的URL往往对应了很多个IP地址，如果不介意这一点，那么可以这样做。
构建一个函数，函数的参数是URL地址，返回地市信息。
解析这个文件，提取URL，存入列表。
获得返回值写文件。
假设第二步和第三步你已经完成，那么:

import aiohttp
import asyncio
import aiofiles

async def foo(url):
    params={'url': url}
    async with aiohttp.ClientSession() as session:
        async with session.get(url='http://httpbin.org/get', params=params):
            pass

if __name__ == "__main__":
    urls = list()
    loop = asyncio.get_event_loop()
    tasks = [foo(url=url) for url in urls]
    loop.run_until_complete(asyncio.wait(tasks))
    loop.close()