如何禁用 TOKENIZERS_PARALLELISM=(true \| false) 警告？

Question

我使用 pytorch 来训练 huggingface-transformers 模型，但是每个 epoch，总是输出警告：

 The current process just got forked. Disabling parallelism to avoid deadlocks... To disable this warning, please explicitly set TOKENIZERS_PARALLELISM=(true | false)

如何禁用此警告？

原文由 snowzjy 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

将环境变量设置为字符串 "false"

或者通过

TOKENIZERS_PARALLELISM=false

在你的壳里

或通过：

 import os
os.environ["TOKENIZERS_PARALLELISM"] = "false"

在 Python 脚本中

原文由 Alec Segal 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 2

我将在此处留下此评论，以帮助任何想知道是否有可能 保持并行性的 人。也因为它是直接在Google上搜索错误时的第一个stackoverflow页面。

根据 github 上的评论， FastTokenizers 似乎是问题所在。另外根据 对 gitmemory 的另一条评论， 你不应该在分叉进程之前使用分词器。 （这基本上意味着在遍历数据加载器之前）

所以解决方案是在训练/微调之前不使用 FastTokenizers 或 使用普通的 Tokenizers。

查看 huggingface 文档以了解您是否真的需要 FastTokenizer。

原文由 flo 发布，翻译遵循 CC BY-SA 4.0 许可协议