Python请求post的进度

Question

我正在使用 Python 请求包上传一个大文件，但我找不到任何方法来返回有关上传进度的数据。我见过许多用于下载文件的进度表，但这些不适用于文件上传。

理想的解决方案是某种回调方法，例如：

 def progress(percent):
  print percent
r = requests.post(URL, files={'f':hugeFileHandle}, callback=progress)

在此先感谢您的帮助 ：）

原文由 Robin Begbie 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

requests 不支持 上传 流 例如：

 import os
import sys
import requests  # pip install requests

class upload_in_chunks(object):
    def __init__(self, filename, chunksize=1 << 13):
        self.filename = filename
        self.chunksize = chunksize
        self.totalsize = os.path.getsize(filename)
        self.readsofar = 0

    def __iter__(self):
        with open(self.filename, 'rb') as file:
            while True:
                data = file.read(self.chunksize)
                if not data:
                    sys.stderr.write("\n")
                    break
                self.readsofar += len(data)
                percent = self.readsofar * 1e2 / self.totalsize
                sys.stderr.write("\r{percent:3.0f}%".format(percent=percent))
                yield data

    def __len__(self):
        return self.totalsize

# XXX fails
r = requests.post("http://httpbin.org/post",
                  data=upload_in_chunks(__file__, chunksize=10))

顺便说一句，如果您不需要报告进度； 您可以使用内存映射文件上传大文件。

要解决它，您可以创建一个类似于 urllib2 POST progress monitoring 的文件适配器：

 class IterableToFileAdapter(object):
    def __init__(self, iterable):
        self.iterator = iter(iterable)
        self.length = len(iterable)

    def read(self, size=-1): # TBD: add buffer for `len(data) > size` case
        return next(self.iterator, b'')

    def __len__(self):
        return self.length

例子

it = upload_in_chunks(__file__, 10)
r = requests.post("http://httpbin.org/post", data=IterableToFileAdapter(it))

# pretty print
import json
json.dump(r.json, sys.stdout, indent=4, ensure_ascii=False)

原文由 jfs 发布，翻译遵循 CC BY-SA 3.0 许可协议

Answer 2

我推荐使用一个名为 requests-toolbelt 的工具包，它可以很容易地监控上传字节数，比如

from requests_toolbelt import MultipartEncoder, MultipartEncoderMonitor
import requests

def my_callback(monitor):
    # Your callback function
    print monitor.bytes_read

e = MultipartEncoder(
    fields={'field0': 'value', 'field1': 'value',
            'field2': ('filename', open('file.py', 'rb'), 'text/plain')}
    )
m = MultipartEncoderMonitor(e, my_callback)

r = requests.post('http://httpbin.org/post', data=m,
                  headers={'Content-Type': m.content_type})

您可能希望阅读 此 内容以显示进度条。

原文由 wuliang8910 发布，翻译遵循 CC BY-SA 3.0 许可协议