有几十甚至几百兆字节的数据，利用HttpClient远程去获取，如何保证数据发送接收？

Question

有两个微服务，分别处于两个城市。A服务有一个api接口开放，用于提供数据，B服务不时用HttpClient调用这个接口去捞数据。每次需要传几十甚至几百兆字节的数据。我的问题是：

1 一个Http响应的正文部分几十甚至几百兆是不可能的吧，那么需要将数据分为很多segment，每次只传一个segment，这样的话，每个segment多大好？

2 如何保证传输的可靠性，HttpClient重传啥的机制如何设置？

Answer 1

1. 也是可能的。此外 http 协议自身可以分段传输
2. 因为 http 使用的传输层协议是 tcp，而 tcp 本身就是可靠协议，所以 http 不需要保证可靠

Answer 2

你好，需求是几十到几百兆，那么这个我个人以为用httpclient去处理是不太现实到，也觉得处理完如果出现了bug，那么也是一个诡异到bug，推介使用 shell 脚本，其实也就是一个 wget -O xxx.xxx http://127.0.0.1:8080/nihao 到脚本。这样下载下来基本没毛病

Answer 3

使用中间件吧，redis,mysql,kafka都可以。用http传这么大的数据，听起来就不靠谱啊

Answer 4

如果需求无法更改，了解一下http协议中的“断点(分块)续传”