python怎么获取ftp服务器文件？

Question

python连接ftp服务器，获取指定目录下的文件并下载，如果连接的时候指定utf-8编码，但是ftp服务器文件包含了非utf8编码的文件（ftp服务器上文件可能从windows上传存在gbk编码的文件），这样以下程序会报错'utf-8' codec can't decode byte 0xc6 in position 304: invalid continuation byte，除了限制上传的时候必须使用utf-8编码外，有其他办法来兼容吗？

import ftplib


ftp_cli = ftplib.FTP()
ftp_cli.encoding = 'utf-8'
ftp_cli.connect('10.21.x.x', 10021)
ftp_cli.login('ftpuser', 'ftpuser')

wdir = ''
file_list = []
ftp_cli.retrlines(f"LIST {wdir}", file_list.append)
print(file_list)

Answer 1

当处理FTP服务器上的文件时，如果服务器上的文件名包含了非UTF-8编码的字符（比如GBK编码的字符），而你尝试用UTF-8编码去解析这些文件名时，确实会遇到编码错误。这个问题在跨平台或跨语言环境的文件传输中非常常见。

为了解决这个问题，你可以尝试以下方法：

使用FTP服务器的默认编码：
一些FTP客户端库允许你指定或检测FTP服务器的默认编码。例如，使用ftplib库时，你可以尝试检测FTP服务器的编码，并使用该编码来处理文件名。但是，ftplib并不直接支持这种特性，你可能需要扩展它或寻找其他库。

尝试多种编码：
如果你可以确定服务器上可能使用的几种编码（比如UTF-8和GBK），你可以尝试用这些编码去解码文件名，直到成功为止。

使用第三方库：
有些第三方库可能提供了更好的编码支持或错误处理机制。例如，paramiko是一个提供SSH和SFTP功能的Python库，它可能更好地处理编码问题。

升级FTP服务器：
如果可能的话，升级FTP服务器以支持UTF-8编码是一个长期的解决方案。这样可以确保所有上传和下载的文件名都使用统一的编码格式。

避免使用特殊字符：
限制上传的文件名只使用ASCII字符可以避免编码问题。这可以通过文件上传的客户端来实现，确保在上传前对文件名进行清理或转换。

自定义错误处理：
在解码文件名时，你可以捕获UnicodeDecodeError异常，并尝试使用不同的编码来解码，或者简单地忽略或替换无法解码的字符。

下面是一个简单的例子，展示了如何使用ftplib库并尝试多种编码来解码文件名：

import ftplib  
  
def decode_filename(filename, encodings=['utf-8', 'gbk']):  
    for enc in encodings:  
        try:  
            return filename.decode(enc)  
        except UnicodeDecodeError:  
            pass  
    # 如果所有编码都尝试过了还是失败，可以抛出一个异常或返回原始字节  
    return filename  
  
ftp = ftplib.FTP('ftp.example.com')  
ftp.login('user', 'passwd')  
  
dir_list = ftp.nlst('/path/to/directory')  
for raw_filename in dir_list:  
    filename = decode_filename(raw_filename)  
    print(filename)  
    # 根据文件名下载文件...  
  
ftp.quit()