### 作者介绍:* author:lzl### 博客地址:* http://www.cnblogs.com/lianzhilei/p/5813986.html### 功能实现 作业:开发一个支持多用户在线的FTP程序 要求: 用户加密认证 允许同时多用户登录 每个用户有自己的家目录 ,且只能访问自己的家目录 对用户进行磁盘配额,每个用户的可用空间不同 允许用户在ftp server上随意切换目录 允许用户查看当前目录下文件 允许上传和下载文件,保证文件一致性 文件传输过程中显示进度条 附加功能:支持文件的断点续传### 目录结构: FTP │ ├── ftpclient #客户端程序 │ ├── __init__.py │ └── ftpclient.py #客户端主程序 └── ftpserver #服务端程序 ├── README.txt ├── ftpserver.py #服务端入口程序 ├── conf #配置文件目录 │ ├── __init__.py │ └── setting.py ├── modules #程序核心目录 │ ├── __init__.py │ ├── auth_user.py #用户认证模块 │ └── sokect_server.py #sokectserver模块 ├── database #用户数据库 │ ├── alex.db │ ├── lzl.db │ └── eric.db ├── home #用户宿主目录 │ ├── alex │ ├── lzl │ └── eric └── log ├── __init__.py └── log #待扩展....### 功能实现 1、conf目录下settings.py模块记录可操作用户信息,根据用户信息生成用户字典和宿主目录,已经生成的不再新建 2、每个用户的宿主目录磁盘空间配额默认为10M,可在settings.py模块里进行修改 3、程序运行在windows系统上,程序要求全部实现,下面是具体命令操作 4、切换目录:cd .. 返回上一级目录 cd dirname 进入dirname 用户登录后默认进入宿主目录,只可在宿主目录下随意切换 5、创建目录:mkdir dirname 在当前目录下创建目录,如果目录存在则报错,不存在创建 6、查看当前路径: pwd 7、查看当前路径下的文件名和目录名: dir 8、下载文件(可续传):get filename ①、服务端当前目录存在此文件,客户端不存在此文件,直接下载 ②、服务端当前目录存在此文件,客户端存在此文件名,之前下载中断,文件可续传,进行续传 ③、服务端当前目录存在此文件,客户端存在此文件名,大小与服务端一致,不下载 9、上传文件:put filename 判断宿主目录磁盘空间是否够用,可以,上传文件;否则,报错### 状态码 400 用户认证失败 401 命令不正确 402 文件不存在 403 创建文件已经存在 404 磁盘空间不够 405 不续传 200 用户认证成功 201 命令可以执行 202 磁盘空间够用 203 文件具有一致性 205 续传 000 系统交互码
socket是什么
什么是socket所谓socket通常也称作"套接字",用于描述IP地址和端口,是一个通信链的句柄。应用程序通常通过"套接字"向网络发出请求或者应答网络请求。说白了就是一种通信机制。它类似于银行,电信啊这些部分的电话客服部门。你打电话的时候,那边会分配置一个人回答你的问题,客服部门就相当于socket的服务器端了,你这边呢就相当于客户端了,在和你通话结束前,如果有人在想找和你通话的那个说话,是不可能的,因为你在和他通信,当然客服部门的电话交换机也不会重复分配。我们天天用的http\smtp\ftp等网络协议都是基于socket的上层实现,无论使用何种网络协议,最本质上都是在进行数据的接收和发送,只不过发送的数据类型和内容不同罢了,“发送”和“接收”这两个动作就是socket处理数据的主要方式。
socket起源于Unix,而Unix/Linux基本哲学之一就是“一切皆文件”,都可以用“打开open–>读写write/read–> 关闭close”模式来操作。Socket就是该模式的一个实现,socket即是一种特殊的文件,一些socket函数就是对其进行的操作(读/写IO、打开、关闭),python的socket模块是直接调用的unix的socket库,接下来我们一起来看下,如何在python下实现socket。
使用socket时需要指定Socket Family(地址簇),包括以下几种:
socket.AF_UNIX 只能够用于单一的Unix系统进程间通信
socket.AF_INET 用于主机之间的网络通信
socket.AF_INET6 IPv6通信
若想实现主机之间的通信,我们就得使用socket.AF_INET
确认地址簇后,还需要指定socket数据类型
socket.SOCK_STREAM 流式socket, for TCP
socket.SOCK_DGRAM 数据报式socket, for UDP
socket.SOCK_RAW 原始套接字,普通的套接字无法处理ICMP、IGMP等网络报文,而SOCK_RAW可以;其次,SOCK_RAW也可以处理特殊的IPv4报文;此外,利用原始套接字,可以通过IP_HDRINCL套接字选项由用户构造IP头。
socket.SOCK_RDM 是一种可靠的UDP形式,即保证交付数据报但不保证顺序。SOCK_RAM用来提供对原始协议的低级访问,在需要执行某些特殊操作时使用,如发送ICMP报文。SOCK_RAM通常仅限于高级用户或管理员运行的程序使用。
socket.SOCK_SEQPACKET 可靠的连续数据包服务
我们主要用的一般是SOCK_STREAM (for TCP)和SOCK_DGRAM(for UDP).
进行socket调用时可能会用到的函数:
s = socket(family,type[,protocal]) 使用给定的地址族、套接字类型、协议编号(默认为0)来创建套接字。
套接字的实例具有以下方法:
s.bind(address) 将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下,以元组(host,port)的形式表示地址。
s.listen(backlog) 开始监听传入连接。backlog指定在拒绝连接之前,操作系统可以挂起的最大连接数量。该值至少为1,大部分应用程序设为5就可以了。
s.connect(address) 连接到address处的套接字。一般,address的格式为元组(hostname,port),如果连接同一台机器上的服务器,可以将hostname设为‘localhost’。如果连接出错,返回socket.error错误。
s.connect_ex(adddress) 功能与connect(address)相同,但是成功返回0,失败返回errno的值。
s.accept() 接受连接并返回(conn,address),其中conn是新的套接字对象,可以用来接收和发送数据。address是连接客户端的地址。
s.close() 关闭套接字。
s.fileno() 返回套接字的文件描述符。
s.getpeername() 返回连接套接字的远程地址。返回值通常是元组(ipaddr,port)。
s.getsockname() 返回套接字自己的地址。通常是一个元组(ipaddr,port)
s.getsockopt(level,optname[.buflen]) 返回套接字选项的值。
s.gettimeout() 返回当前超时期的值,单位是秒,如果没有设置超时期,则返回None。
s.recv(bufsize[,flag]) 接受套接字的数据。数据以字符串形式返回,bufsize指定要接收的最大数据量。flag提供有关消息的其他信息,通常可以忽略。
s.recvfrom(bufsize[.flag]) 与recv()类似,但返回值是(data,address)。其中data是包含接收数据的字符串,address是发送数据的套接字地址。
s.send(string[,flag]) 将string中的数据发送到连接的套接字。返回值是要发送的字节数量,该数量可能小于string的字节大小。
s.sendall(string[,flag]) 将string中的数据发送到连接的套接字,但在返回之前会尝试发送所有数据。成功返回None,失败则抛出异常。
s.sendto(string[,flag],address) 将数据发送到套接字,address是形式为(ipaddr,port)的元组,指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。
s.setblocking(flag) 如果flag为0,则将套接字设为非阻塞模式,否则将套接字设为阻塞模式(默认值)。非阻塞模式下,如果调用recv()没有发现任何数据,或send()调用无法立即发送数据,那么将引起socket.error异常。
s.setsockopt(level,optname,value) 设置给定套接字选项的值。
s.settimeout(timeout) 设置套接字操作的超时期,timeout是一个浮点数,单位是秒。值为None表示没有超时期。一般,超时期应该在刚创建套接字时设置,因为它们可能用于连接的操作(如connect())普通的非套接字实例的函数
getdefaulttimeout()返回默认的套接字超时时间(以秒为单位)。None表示不设置任何超时时间。
gethostbyname(hostname) 将主机名(如“www.baidu.com”)转换为IPv4地址,IP地址将以字符串的形式返回,如“8.8.8.8”。不支持IPv6
gethostname() 返回本地机器的主机名。
正式写代码了噢!!!
下面实现一下最简单的socket 通信:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
|
这样我们就能实现服务端和客户端1对1来通信了,但是你会发现,只要客户端一中断,服务器也跟着中断了,这样显然是不合理的,一个客户端断开了,服务端应该能持续为其它客户端提供服务才对。 那服务端为啥会跟着客户端一起关闭呢,因为服务端代码中
1 |
|
如果收不到客户端的数据,就跳出循环,我们可以把代表调整成如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
|
这样如果一个客户端连接断开了,最里面的那个循环会跳出,就又回到第一层的while循环,
1 |
|
上面的accept()方法会继续等待一个新的连接进来,这样,服务端就可以持续不断的为客户端提供服务了。
解决了不能持续提供服务的问题后,新问题又来了,当你启动服务端后,同时再启动2个客户端,你会发现,只能有一个客户端跟服务端不断的通信,另一个客户端会一直处在挂起状态,当你把可以通信的客户端断开后,你会发现第2个客户端就可以跟服务端进行通信了。 这是为什么呢?哈哈,因为你的服务端同时只能为一个客户提供服务呀。就像你跟一个人在说话的同时,是不能同时跟其它人说话的,对么?
其实想让你的服务端口可以同时为与多个客户端进行通信也很简单,直接用多线程并发就好了,什么?你不会写多线程?没关系,Python已经帮你实现了,你只需要调用一个叫SocketServer的模块就好了。下面咱们就把刚才的单线程socket服务端变成多线程的:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
|
好了,此时再多启动几个客户端,看看是不是所有的客户端都能同时跟服务器端通信啦。
接下来我们看看怎么通过socket模拟实现一个ftp server,允许客户端上传和下载文件。
FTP客户端
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 |
|
服务器端
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 |
|
好了, 这样客户端就能从服务器端上下载文件啦! 当然现在只要下载的功能,不过上传、查看文件列表的业务逻辑基本是跟这个差不多的,大家可以自己进行扩展,当然,如果要真想模拟ftp的功能更全面些,还得加上用户认证,权限认证,可切换目录,可对用户进行上传空间配额,可允许传目录,可实现多用户并发等更多细节功能,我的git里有一个例子,包含了用户认证,限制用户只能在自己的家目录活动,允许用户自主切换目录等,大家可以自己先写,没思路的话再参考我的代码。
完整代码 :https://github.com/triaquae/py_training/tree/master/sample_code/ftp_sample
* 注:有的同学问,这个多线程可支持多少用户并发呢?回答是支持不了多少,当然我也没实际测试过具体多少个,估计不会超过几百个,因为Python 的多线程是不能利用多核优势的,所以我们看到的并发其实本质上还是串行的,只不是cpu不断的在不同线程之间进行切换运行而已,但由于GIL要保证线程安全的原因,无论你生成多少个线程,Python的GIL只允许同一时间只有一个线程真正运行。如果真要实际多并发,采用异步的方式会是一个好方法,有机会我在跟大家分享下如何利用异步Select\Epoll来实际Socket的并发吧!