celery做分布式，如果我有100个worker运行，是不是这100个worker都会连接数据库？

Question

我想用celery做一个分布式的爬虫

让celery抓取数据，存入我的mysql数据库

但是我买来的mysql数据库只有50个连接数（数据库提供商限制）

那我是不是就无法启动100个worker同时去抓取数据了？

有办法让worker把数据抓了，返回给master，让master存入数据库可以吗？

请问大家有解决办法吗？

谢谢

Answer 1

生产的数据存入redis的队列（List）。然后开一个进程慢慢消费。