Tensorflow CUDA - CUPTI 错误：无法加载 CUPTI 或找不到符号

Question

我使用 Tensorflow v 1.14.0。我在 Windows 10 上工作。这里是相关 环境变量 在 PATH 中的样子：

 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\libnvvp
C:\Program Files (x86)\NVIDIA Corporation\PhysX\Common
C:\Users\sinthes\AppData\Local\Programs\Python\Python37
C:\Users\sinthes\AppData\Local\Programs\Python\Python37\Scripts
C:\Program Files\NVIDIA Corporation\NVIDIA NvDLISR
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\cuda\bin

也许还值得一提，以防万一它可能是相关的。我使用 Sublime Text 3 进行开发，我不使用 Anaconda。我发现在 conda 环境中对 tensorflow 进行更新有点麻烦，所以我现在只使用 Sublime Text。 （我以前使用的是 Anaconda (Spyder)，但我从我的电脑上卸载了它。）

除了偶尔出现一些奇怪的警告外，一切似乎都很好。但每当我运行 fit 函数时，我都会收到以下警告。

 E tensorflow/core/platform/default/device_tracer.cc:68] CUPTI error: CUPTI could not be loaded or symbol could not be found.

下面是我调用 fit 函数的方式：

 history = model.fit(x=train_x,
                    y=train_y,
                    batch_size=BATCH_SIZE,
                    epochs=110,
                    verbose=2,
                    callbacks=[tensorboard, checkpoint, reduce_lr_on_plateau],
                    validation_data=(dev_x, dev_y),
                    shuffle=True,
                    class_weight=class_weight,
                    steps_per_epoch=None,
                    validation_steps=None)

我只是想知道为什么我会在运行时看到 CUPTI Error 消息？它只打印一次。这是我需要修复的东西还是可以忽略的东西？这条消息没有告诉我任何具体的事情，让我能够采取任何行动。

原文由 edn 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

这是解决“我的”问题的方法：

我刚刚用 tensorflow v 1.14 替换了我的 --- tensorflow v 1.13.1 。并且没有更多 的 CUPTI 错误 消息。甚至其他一些奇怪的警告/问题也消失了。所有问题显然都应该有特定的原因，但不幸的是，Tensorflow（很多次）没有提供可以理解的错误/警告消息，这些消息给出了有助于解决问题的好/公平的想法。我最终会在这些奇怪的问题上花费数小时（甚至数天），这大大降低了我的工作效率。

对我来说（可能与此处分享相关）的一个一般性学习是，我不应该急于将我的 tensorflow 安装升级到它的最新版本。最新的几乎从来都不稳定，每当我尝试时，我最终都会花费 大量 时间在由 tensorflow 引起的问题上。糟糕的文档和错误消息使其非常难以使用。

如果有人有更好的答案，非常欢迎他/她分享他/她对我在这个问题中分享的问题的见解。

原文由 edn 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 2

NVIDIA® CUDA 分析工具接口 (CUPTI) 是一个动态库，可以创建针对 CUDA 应用程序的分析和跟踪工具。

CPUTI 似乎是由 Tensorflow 开发人员添加的，以允许进行分析。如果您不介意异常或调整您的环境路径，您可以简单地忽略该错误，因此可以在执行期间找到动态链接库 (DLL)。

在您的 CUDA 安装目录中，有一个 extras\CUPTI\lib64 目录，其中包含试图加载的 cupti64_101.dll 。将该目录添加到您的路径应该可以解决问题，例如，

 SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\extras\CUPTI\lib64;%PATH%

注意，如果接下来出现 INSUFFICIENT_PRIVILEGES 错误，请尝试以管理员身份运行程序。

原文由 Alexander Pacha 发布，翻译遵循 CC BY-SA 4.0 许可协议