为什么我的 google colab 会话不断崩溃？

Question

我在具有 400 万行和 29 列的数据集上使用 google colab。当我运行语句 sns.heatmap(dataset.isnull()) 时，它运行了一段时间，但一段时间后会话崩溃并且实例重新启动。它已经发生了很多，直到现在我还没有真正看到输出。可能的原因是什么？数据/计算是否过多？我能做什么 ？

原文由 Callmeat911 True 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

我不确定是什么导致了您的具体崩溃，但一个常见的原因是内存不足错误。听起来您正在使用足够大的数据集，这很可能。您可以尝试使用数据集的一个子集并查看错误是否再次出现。

否则，CoLab 会将日志保存在 /var/log/colab-jupyter.log 中。您可以通过打印其内容来更深入地了解正在发生的事情。要么运行：

 !cat /var/log/colab-jupyter.log

或者，单独获取消息（更易于阅读）：

 import json

with open("/var/log/colab-jupyter.log", "r") as fo:
  for line in fo:
    print(json.loads(line)['msg'])

原文由 Sam 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 2

另一个原因 - 如果您使用 PyTorch 并将模型分配给 GPU，但不要将内部张量分配给 GPU（例如隐藏层）。

原文由 user1114 发布，翻译遵循 CC BY-SA 4.0 许可协议