以指数退避重试 Celery 任务

Question

对于这样的任务：

 from celery.decorators import task

@task()
def add(x, y):
    if not x or not y:
        raise Exception("test error")
    return self.wait_until_server_responds(

如果它抛出异常并且我想从守护程序端重试它，如何应用指数退避算法，即在 2^2, 2^3,2^4 等秒之后？

重试是否也是从服务器端维护的，这样如果工人碰巧被杀，那么下一个产生的工人将接受重试任务？

原文由 Quintin Par 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

task.request.retries 属性包含到目前为止的尝试次数，因此您可以使用它来实现指数退避：

 from celery.task import task

@task(bind=True, max_retries=3)
def update_status(self, auth, status):
    try:
        Twitter(auth).update_status(status)
    except Twitter.WhaleFail as exc:
        raise self.retry(exc=exc, countdown=2 ** self.request.retries)

为了防止 Thundering Herd Problem ，您可以考虑在指数退避中添加随机抖动：

 import random
self.retry(exc=exc, countdown=int(random.uniform(2, 4) ** self.request.retries))

原文由 asksol 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 2

从 Celery 4.2 开始，您可以将任务配置为自动使用指数退避：http: //docs.celeryproject.org/en/master/userguide/tasks.html#automatic-retry-for-known-exceptions

 @app.task(autoretry_for=(Exception,), retry_backoff=2)
def add(x, y):
    ...

（这已经在 Celery 4.1 的文档中，但实际上当时并未发布，请参阅 合并请求）

原文由 Rupert Angermeier 发布，翻译遵循 CC BY-SA 4.0 许可协议