python如何单进程压满服务

现在有一个gunicorn + flask 做的server,是用作服务的,读一些数据,吐一些输出。client用的是requests包,读取文件,然后将行分割,作为参数传给server,等待server的回应。
问题是:我client即使用多线程去访问server,发现server的CPU占用率始终只有60%,如何能让cpu利用率提升到100%?

PS: 同时启动多个client做测试的时候,cpu会到100%,但如何在单个client.py中实现?

阅读 5.4k
1 个回答

Python有GIL即全局解释器锁。因此多线程Python脚本无法同时执行,只能用到单核。
你可以用multiprocessing来实现多进程,或者考虑将复杂的逻辑改为用c实现。

下面的代码就是根据cpu核心数量开启进程池,然后其中map第一个参数是业务方法,第二个是迭代器,每当有空闲进程时,进程池就会取下一组数据进行计算。

pool = Pool(processes=os.cpu_count())
results = pool.map(__read_excle, [(r'resource/linkdata/' + i, i) for i in os.listdir(r'resource/linkdata/')])
pool.close()
pool.join()
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题