在Databricks（DBFS）中递归列出目录和子目录的文件

Question

使用python/dbutils，如何在Databricks文件系统（DBFS）中递归显示当前目录和子目录的文件。

原文由 Kiran A 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

dbutils.fs.ls（和 %fs 魔术命令）令人惊讶的是它似乎不支持任何递归开关。但是，由于 ls 函数返回 FileInfo 对象的列表，因此递归迭代它们以获取全部内容非常简单，例如：

 def get_dir_content(ls_path):
  dir_paths = dbutils.fs.ls(ls_path)
  subdir_paths = [get_dir_content(p.path) for p in dir_paths if p.isDir() and p.path != ls_path]
  flat_subdir_paths = [p for subdir in subdir_paths for p in subdir]
  return list(map(lambda p: p.path, dir_paths)) + flat_subdir_paths


paths = get_dir_content('/databricks-datasets/COVID/CORD-19/2020-03-13')
[print(p) for p in paths]

原文由 Daniel 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 2

可以使用生成器和 yield 运算符来完成替代实现。您必须至少使用 Python 3.3+ 用于 yield from 运算符并查看这篇 精彩文章 以更好地理解 yield 运算符：

 def get_dir_content(ls_path):
    for dir_path in dbutils.fs.ls(ls_path):
        if dir_path.isFile():
            yield dir_path.path
        elif dir_path.isDir() and ls_path != dir_path.path:
            yield from get_dir_content(dir_path.path)

list(get_dir_content('/databricks-datasets/COVID/CORD-19/2020-03-13'))

原文由 choeh 发布，翻译遵循 CC BY-SA 4.0 许可协议