Python 3.6 项目结构导致 RuntimeWarning

新手上路,请多包涵

我正在尝试打包我的项目以进行分发,但在运行模块时遇到了 RuntimeWarning

我在 Python 邮件列表 上发现了一个错误报告,它指出 RuntimeWarning 是 Python 3.5.2 中引入的新行为。

通读错误报告,似乎发生了双重导入,这个 RuntimeWarning 在提醒用户方面是正确的。但是,我看不出需要对自己的项目结构进行哪些更改才能避免此问题。

这是我尝试“正确”构建的第一个项目。我希望在推送代码时有一个整洁的布局,以及一个可以被其他人轻松克隆和运行的项目结构。

我的结构主要基于 http://docs.python-guide.org/en/latest/writing/structure/

我在下面添加了一个最小工作示例的详细信息。

为了重现这个问题,我使用 python -m 运行主文件:

 (py36) X:\test_proj>python -m proj.proj
C:\Users\Matthew\Anaconda\envs\py36\lib\runpy.py:125: RuntimeWarning:
'proj.proj' found in sys.modules after import of package 'proj', but prior
to execution of 'proj.proj'; this may result in unpredictable behaviour
  warn(RuntimeWarning(msg))
This is a test project.`

运行我的测试很好:

 (py36) X:\test_proj>python -m unittest tests.test_proj
This is a test project.
.
----------------------------------------------------------------------
Ran 1 test in 0.000s

OK

复制问题的项目结构如下:

 myproject/
    proj/
        __init__.py
        proj.py
    tests/
        __init__.py
        context.py
        test_proj.py

在文件中 proj/proj.py

 def main():
    print('This is a test project.')
    raise ValueError

if __name__ == '__main__':
    main()

proj/__init__.py

 from .proj import main

tests/context.py

 import os
import sys
sys.path.insert(0, os.path.abspath(os.path.join(os.path.dirname(__file__), '..')))
import proj

最后,在 tests/test_proj.py 中:

 import unittest

from .context import proj

class SampleTestCase(unittest.TestCase):
    """Test case for this sample project"""
    def test_raise_error(self):
        """Test that we correctly raise an error."""
        with self.assertRaises(ValueError):
            proj.main()

if __name__ == '__main__':
    unittest.main()

任何人都可以帮助我更正我的项目结构以避免这种双重导入情况吗?对此的任何帮助将不胜感激。

原文由 Matthew 发布,翻译遵循 CC BY-SA 4.0 许可协议

阅读 1k
1 个回答

对于这种特殊情况,双重导入警告是由于 proj/__init__.py 中的这一行:

 from .proj import main

该行的意思是,当 -m 开关实现完成 import proj 步骤时, proj.proj 已经 作为父包的副作用导入.

避免警告

为避免警告,您需要找到一种方法来确保导入父包不会隐式导入正在使用 -m 开关执行的包。

解决该问题的两个主要选项是:

  1. 删除 from .proj import main 行(如@John Moutafis 建议的那样),假设可以在不破坏 API 兼容性保证的情况下完成;或者
  2. proj 子模块中删除 if __name__ == "__main__": 块,并用一个单独的 proj/__main__.py 文件替换它:
    from .proj import main
   main()

如果您选择选项 2,那么命令行调用也将更改为 python -m proj ,而不是引用子模块。

选项 2 的一个更向后兼容的变体是添加 __main__.py 而不从当前子模块中删除 CLI 块,当与 DeprecationWarning 结合使用时,这可能是一个特别好的方法:

 if __name__ == "__main__":
    import warnings
    warnings.warn("use 'python -m proj', not 'python -m proj.proj'", DeprecationWarning)
    main()

If proj/__main__.py is already being used for some other purpose, then you can also do things like replacing python -m proj.proj with python -m proj.proj_cli , where proj/proj_cli.py looks喜欢:

 if __name__ != "__main__":
    raise RuntimeError("Only for use with the -m switch, not as a Python API")
from .proj import main
main()

为什么存在警告?

-m 开关实现即将在 __main__ 模块中 再次 运行已经导入的模块代码时,会发出此警告,这意味着您将拥有它定义的所有内容的两个不同副本- 类、函数、容器等。

根据应用程序的具体情况,这可能会正常工作(这就是为什么它是警告而不是错误),或者它可能导致奇怪的行为,例如模块级状态修改未按预期共享,甚至未捕获异常,因为异常处理程序试图从模块的一个实例中捕获异常类型,而引发的异常使用了另一个实例中的类型。

因此,模糊的 this may cause unpredictable behaviour 警告 - 如果由于两次运行模块的顶级代码而出现问题,则症状可能几乎是任何东西。

您如何调试更复杂的案例?

虽然在这个特定示例中,副作用导入直接在 proj/__init__.py 中,但父包却有一个更微妙且难以调试的变体:

 import some_other_module

然后它是 some_other_module (或它导入的模块):

 import proj.proj # or "from proj import proj"

假设不当行为是可重现的,调试此类问题的主要方法是在详细模式下运行 python 并检查导入顺序:

 $ python -v -c "print('Hello')" 2>&1 | grep '^import'
import zipimport # builtin
import site # precompiled from /usr/lib64/python2.7/site.pyc
import os # precompiled from /usr/lib64/python2.7/os.pyc
import errno # builtin
import posix # builtin
import posixpath # precompiled from /usr/lib64/python2.7/posixpath.pyc
import stat # precompiled from /usr/lib64/python2.7/stat.pyc
import genericpath # precompiled from /usr/lib64/python2.7/genericpath.pyc
import warnings # precompiled from /usr/lib64/python2.7/warnings.pyc
import linecache # precompiled from /usr/lib64/python2.7/linecache.pyc
import types # precompiled from /usr/lib64/python2.7/types.pyc
import UserDict # precompiled from /usr/lib64/python2.7/UserDict.pyc
import _abcoll # precompiled from /usr/lib64/python2.7/_abcoll.pyc
import abc # precompiled from /usr/lib64/python2.7/abc.pyc
import _weakrefset # precompiled from /usr/lib64/python2.7/_weakrefset.pyc
import _weakref # builtin
import copy_reg # precompiled from /usr/lib64/python2.7/copy_reg.pyc
import traceback # precompiled from /usr/lib64/python2.7/traceback.pyc
import sysconfig # precompiled from /usr/lib64/python2.7/sysconfig.pyc
import re # precompiled from /usr/lib64/python2.7/re.pyc
import sre_compile # precompiled from /usr/lib64/python2.7/sre_compile.pyc
import _sre # builtin
import sre_parse # precompiled from /usr/lib64/python2.7/sre_parse.pyc
import sre_constants # precompiled from /usr/lib64/python2.7/sre_constants.pyc
import _locale # dynamically loaded from /usr/lib64/python2.7/lib-dynload/_localemodule.so
import _sysconfigdata # precompiled from /usr/lib64/python2.7/_sysconfigdata.pyc
import abrt_exception_handler # precompiled from /usr/lib64/python2.7/site-packages/abrt_exception_handler.pyc
import encodings # directory /usr/lib64/python2.7/encodings
import encodings # precompiled from /usr/lib64/python2.7/encodings/__init__.pyc
import codecs # precompiled from /usr/lib64/python2.7/codecs.pyc
import _codecs # builtin
import encodings.aliases # precompiled from /usr/lib64/python2.7/encodings/aliases.pyc
import encodings.utf_8 # precompiled from /usr/lib64/python2.7/encodings/utf_8.pyc

这个特定的例子只是展示了 Fedora 上的 Python 2.7 在启动时执行的基本导入集。在调试双重导入时 RuntimeWarning 就像这个问题中的那个一样,您将在详细输出中搜索“import proj”和“import proj.proj”行,然后仔细查看紧接在“import proj.proj”行之前的导入。

原文由 ncoghlan 发布,翻译遵循 CC BY-SA 3.0 许可协议

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题
logo
Stack Overflow 翻译
子站问答
访问
宣传栏