传输小文件没有问题,大文件(500M)报错:socket.error: [Errno 10053]
服务端:
#!/usr/bin/python
# -*- coding: utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
'''
等待连接
等待发送文件
读取数据
写入文件并且保存
等待连接
'''
import socket
import threading
import time
import struct
def function(newsock, address):
FILEINFO_SIZE = struct.calcsize('128sI')
'''定义文件信息(包含文件名和文件大小)大小。128s代表128个char[](文件名),I代表一个integer or long(文件大小)'''
while 1:
try:
fhead = newsock.recv(FILEINFO_SIZE)
filename, filesize = struct.unpack('128sI', fhead)
'''把接收到的数据库进行解包,按照打包规则128sI'''
print "address is: ", address
print filename, len(filename), type(filename)
print filesize
#filename = 'new_'+filename.strip('\00') # 命名新文件new_传送的文件
filename = filename.strip('\00')
fp = open(filename, 'wb') # 新建文件,并且准备写入
restsize = filesize
print "recving..."
while 1:
if restsize > 1024: # 如果剩余数据包大于1024,就去1024的数据包
filedata = newsock.recv(1024)
else:
filedata = newsock.recv(restsize)
fp.write(filedata)
break
if not filedata:
break
fp.write(filedata)
restsize = testsize - len(filedata) # 计算剩余数据包大小
if restsize <= 0:
break
fp.close()
print "recv succeeded !!File named:", filename
except:
print "the socket partner maybe closed"
newsock.close()
break
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) # 创建tcp连接
sock.bind(('127.0.0.1', 8887)) # 定于端口和ip
sock.listen(5) # 监听
while True:
newsock, address = sock.accept()
print "accept another connection"
tmpThread = threading.Thread(target=function, args=(newsock, address)) # 如果接收到文件,创建线程
tmpThread.start() # 执行线程
print 'end'
客户端:
#!/usr/bin/python
# -*- coding: utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
'''
输入文件名,并且上传
'''
import socket
import time
import struct
import os
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.settimeout(500)
e = 0
try:
sock.connect(('127.0.0.1', 8887))
print 'connect...'
except socket.timeout, e:
print 'timeout', e
except socket.error, e:
print 'error', e
except e:
print 'any', e
if not e:
while (1):
filename = raw_input('input your filename------->') # 输入文件名
FILEINFO_SIZE = struct.calcsize('128sI') # 编码格式大小
fhead = struct.pack('128sI', filename, os.stat(filename).st_size) # 按照规则进行打包
sock.send(fhead) # 发送文件基本信息数据
fp = open(filename, 'rb')
while 1: # 发送文件
filedata = fp.read(1024)
if not filedata:
break
sock.send(filedata)
print "sending over..."
fp.close()
嗯,系统地说一下你犯的几个错误。首先楼上说的超时是不正确的,超时时候抛出的异常是socket.timeout,非常好区分。你抛出的10053,这是个典型的Windows下的errno,可以通过
来查询,结果是WSAECONNABORTED,这是对面连接正常关闭后仍然尝试发送数据时出现的问题。
初学者最常犯的错误就是没有注意到recv/send方法与read/write方法的区别。
由于对端是一个socket而不是一个文件,recv/send方法并不能够保证你接收到足够数量的数据或者发送出足够数量的数据。当你使用recv(1024)的时候,返回的数据有可能不足1024字节,因为操作系统并不会像文件一样读够1024字节再返回,而是尽量在有数据的时候尽快返回,因此你必须自己检查收到的数据是否足够长,而不能像read一个文件一样总是假设读取到的长度跟自己请求的一样。在发送的数据量很小的时候,由于一个TCP包的MSS一般是1460,因此小于这个长度的数据一般可以一次性收到,但这并不代表你的程序逻辑是正确的,永远都应该按照正确的socket处理逻辑来编写程序。
send方法也是一样,当你使用send的时候,如果缓冲区长度不足了,send方法并不会将你要求的所有数据都送出,而是只会送出前一部分,所以它有一个返回值,整数类型,表示实际发送出的长度,如果发现发送出长度比提供的数据的长度少,你应当重新从上次结束的地方开始重新调用send,直到全部发出。在Python中可以使用sendall方法来自动完成这个逻辑,当sendall正确返回时,所有数据都会正确发送出,缺点是如果在其中出现了网络异常,没有办法知道实际发送的数据大小。
最后是socket关闭的问题,任何情况下都应该主动关闭socket,将socket.close加到finally当中。不用担心之前的数据会丢失,只要前面的send正常返回,主动调用close会保证先将数据发送完成。recv的一方则应当在对方关闭之后关闭socket。
最后的最后,你的except:这行吞掉了异常,这个做法非常坏,首先除非你想用它替换finally语句,否则永远应当用except Exception:,这样对于SystemExit之类的不该捕获的异常不会被吃掉;其次,永远把抛出的异常打出来,而不是假设它是某种异常类型然后随意忽略掉。如果你实际运行的就是这段代码,那么你遇到的问题是
这行里的testsize应当是restsize,运行到这一行的时候会产生一个NameError,而这个NameError被你的except:吃掉了,它直接关闭了连接,于是远端的client就抛出了异常,而当你传输的文件小于1KB的时候这行代码是不会被触发的。
如果你实际运行的不是这段代码的话还有别的可能的原因,比如说
这行可能没有读完所有的数据然后就退出了。
做socket编程一定要先学习接口原理,遵循正确的编写方法,不能测试觉得没问题就行了,在你localhost之间没有问题的代码在内网或者公网上可能会出各种稀奇古怪的错误,必须按照正确的方式来编写。