运行 Spark 时遇到“WARN ProcfsMetricsGetter: Exception when trying to compute pagesize”错误

Question

我安装了 spark 并在尝试运行它时出现错误：WARN ProcfsMetricsGetter：尝试计算页面大小时出现异常，因为 ProcessTree 指标的报告已停止

有人可以帮我吗？

原文由 Ratika Chandra 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

我也出现了同样的问题，因为python路径没有添加到系统环境中。我在环境中添加了它，现在它运行良好。

添加 PYTHONPATH 环境变量，值为：

 %SPARK_HOME%\python;%SPARK_HOME%\python\lib\py4j-<version>-src.zip;%PYTHONPATH%

帮助解决了这个问题。只需检查您的 spark/python/lib folder 中的 py4j 版本。

原文由 Abhishek Kumar Jha 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 2

我收到了同样的消息，在 Windows 10 上运行 Spark 3.0.1，使用 Scala 2.12.10。它实际上不是一个错误，因为它结束了你的程序执行。它是与 Linux 机器上的 /proc 文件系统相关的警告。

如果您也在 Windows 机器上，答案可能是，引用 Wing Yew Poon @Apache 的话：“出现警告是因为运行了命令“getconf PAGESIZE”，但它在 Windows 上不是有效命令，因此捕获了异常。” （来自 此处 的 Spark jira 问题）。

如果您的程序在抛出此异常消息后立即失败，则可能是出于其他原因。就我而言，Spark 在收到此警告后立即崩溃并显示此消息：

 20/11/13 12:41:51 ERROR MicroBatchExecution: Query [id = 32320bc7-d7ba-49b4-8a56-1166a4f2d6db, runId = d7cc93c2-41ef-4765-aecd-9cd453c25905] terminated with error
org.apache.spark.SparkException: Job 1 cancelled because SparkContext was shut down

可以通过将 spark.executor.processTreeMetrics.enabled 设置为 false 来隐藏此警告。再次引用 Poon 先生的话说，“您看到此警告是一个小错误。但可以安全地忽略它。”

原文由 dannylee8 发布，翻译遵循 CC BY-SA 4.0 许可协议