python文件服务器？python从ftp下载文件

如何用 Python 自动化监控文件夹完成服务部署!

最近在部署前端项目的时候，需要先将前端项目压缩包通过堡垒机上传到应用服务器的/tmp目录下，然后进入应用服务器中，使用 mv命令将压缩文件移动到 Nginx项目设定目录，最后使用 unzip命令解压文件，以此完成项目的部署

仔细分析，大部分操作都是重复性的动作，人工去完成这些操作会大大降低工作效率

本篇文章将介绍如何利用 Python监控文件夹，以此辅助完成服务的部署动作

1.准备这里要介绍一个 Python依赖库「 watchdog」

它可用于监控某个文件目录下的文件变化，包含：删除、修改、新增等操，每一个操作都会回调一个事件函数，我们可以在内部编写自定义的逻辑，以此满足我们的需求

#安装依赖包pip3 install watchdog

2.实战一下首先，我们需要创建一个监听器，用于监听文件夹目录

from watchdog.observers import Observer...#创建一个监听器，用来监听文件夹目录observer= Observer()...

然后，创建 2个事件处理对象

PS：该对象继承于「 FileSystemEventHandler」类

它们分别用于监听「/tmp」目录、「/home/project/frontend」目录，假设事件对象被命名为 obj1、obj2

obj1负责监听/tmp目录，重写「新建或修改」事件方法，完成压缩文件的移动操作

from watchdog.events import*import ntpathimport shutilimport zipfiledef get_filename(filepath):"""根据文件夹目录，获取文件名称（待后缀）:param filepath::return:"""return ntpath.basename(filepath)class FileMoveHandler(FileSystemEventHandler):def __init__(self):FileSystemEventHandler.__init__(self)...#文件新建def on_created(self, event):#新建文件夹if event.is_directory:# print("directory created:{0}".format(event.src_path))pass#新建文件else:# print("file created:{0}".format(event.src_path))filename= get_filename(event.src_path)#如果属于前端的4个项目压缩包，开始文件夹的操作if filename in watch_tags:self.start(filename)... def on_modified(self, event):if event.is_directory:# print("directory modified:{0}".format(event.src_path))passelse:# print("file modified:{0}".format(event.src_path))filename= get_filename(event.src_path)if filename in watch_tags:self.start(filename)...def start(self, filename):"""文件处理逻辑:param filename::return:"""try:#文件名不带后缀filename_without_suffix= filename.split(".")[0]#源文件路径（压缩包文件）source_file_path= watch_folder+ filename#目标文件路径（压缩包文件）target_file_path= target_folder+ filename#目标项目文件夹（目标项目）target_project_path= target_folder+ filename_without_suffix# 1、复制文件到目标文件夹print(f"拷贝源目录{source_file_path},目标文件夹:{target_folder}")#删除目标文件夹下的压缩文件if os.path.exists(target_file_path):os.remove(target_file_path)#移动文件到目标文件夹中shutil.move(source_file_path, target_folder)# 2、清空目标文件夹中内的所有文件夹（如果存在）#如果不存在，新建一个文件夹if os.path.exists(target_project_path):shutil.rmtree(target_project_path, ignore_errors=True)print(f"项目{filename_without_suffix}移动成功！")except Exception as e:print("部署失败，错误原因:", str(e.args))

obj2负责监听/home/project/frontend目录，同样重写「新建或修改」事件方法，完成压缩文件的解压动作

...def start(self, filename):#文件名不带后缀filename_without_suffix= filename.split(".")[0]#目标文件路径（压缩包文件）target_file_path= target_folder+ filename#目标项目文件夹（目标项目）target_project_path= target_folder+ filename_without_suffixr= zipfile.is_zipfile(target_file_path)if r:fz= zipfile.ZipFile(target_file_path,'r')for file in fz.namelist():fz.extract(file, target_folder)else:print('这不是一个正常的zip压缩包！')...

接着，通过监听器启动上面两个事件的监听任务

import time...if __name__=="__main__":#待监听的文件夹目录watch_folder="/tmp/"#项目目标文件夹目录target_folder="/home/project/frontend/"#监听文件夹名称，即：项目压缩包名称watch_tags= ['proj1.zip','proj2.zip','proj3.zip','proj4.zip']#创建一个监听器，用来监听文件夹目录observer= Observer()#创建两个事件处理对象move_handler= FileMoveHandler()unzip_handler= FileUnzipHandler()#启动监控任务#参数分别是：观察者、监听目录、是否监听子目录observer.schedule(move_handler, watch_folder, True)observer.schedule(unzip_handler, target_folder, True)observer.start()try:while True:time.sleep(1)except KeyboardInterrupt:observer.stop()observer.join()...

最后，我们在服务器上通过「 nohup」命令，让文件监听程序在后台运行即可

#在后台运行#项目文件：watch_folder.py#日志文件：watch_folder.lognohup python3-u watch_folder.py> watch_folder.log 2>&1&#查看日志：cat watch_folder.log

3.总结通过上面的操作，每次我通过堡垒机将前端 zip压缩项目文件上传到应用服务器的/tmp目录下，程序会自动进行后面的操作，自动完成应用部署

以上就是本次分享的所有内容，如果你觉得文章还不错，欢迎关注公众号：Python编程学习圈，每日干货分享，内容覆盖Python电子书、教程、数据库编程、Django，爬虫，云计算等等。或是前往编程学习网，了解更多编程技术知识。

原文：

如何在Python中scp远程拷贝文件

Python不仅支持Web开发，还提供了强大的文件传输功能。比如，在Python中使用scp模块进行远程文件拷贝是一种常见的需求。scp模块允许你通过SSH协议安全地传输文件，适用于需要自动化文件传输的任务。

为了使用scp模块，你需要先安装paramiko库，这是一个功能丰富的SSH2协议实现。安装命令为：pip install paramiko。安装完成后，你可以使用如下代码示例进行远程文件拷贝：

python

import paramiko

ssh= paramiko.SSHClient()

ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())

ssh.connect('hostname', username='username', password='password')

sftp= ssh.open_sftp()

sftp.put('local_file_path','remote_file_path')

sftp.close()

ssh.close()

在上述代码中，`hostname`、`username`、`password`需要替换为具体的远程服务器信息，而`local_file_path`和`remote_file_path`分别是本地文件路径和远程文件路径。这段代码首先通过SSH连接到远程服务器，然后使用SFTP协议进行文件传输，最后关闭连接。

需要注意的是，scp模块依赖于SSH，因此必须确保远程服务器上安装了SSH服务，并且能够通过用户名和密码或密钥进行登录。此外，scp模块不支持Windows系统，如果你在Windows上运行Python，请考虑使用其他方法，如使用Fabric或paramiko的其他功能。

总之，Python的scp模块提供了一种方便的方式来进行远程文件拷贝，特别适用于自动化脚本和持续集成环境。通过学习和实践，你可以轻松地将这项技术应用到实际项目中。

另外，除了scp模块，Python还有其他一些库和框架可以帮助你实现文件传输功能。例如，使用paramiko的SFTP接口可以实现更复杂的文件操作，如文件删除、文件重命名等。这些功能可以让你的文件传输任务更加灵活和强大。

总的来说，Python的Web框架如Django、Flask等主要用于Web开发，与文件传输功能没有直接关联。不过，这些框架可以帮助你构建完整的应用程序，其中可能包括文件上传和下载功能。对于文件传输需求，scp模块或paramiko库是更合适的选择。

如何用 python 搭建一个邮件服务器

有人说表示只学Python没有用，必须学会一个框架(比如Django和web.py)才能找到工作。

其实掌握一个类似于框架的高级工具是有用的，但是基础的东西可以让你永远不被淘汰，不要被工具限制了自己的发展。

今天不使用框架，也不使用Python标准库中的高级包，只使用标准库中的socket接口写一个Python服务器。

框架与底层

在当今Python服务器框架(framework,比如Django, Twisted, web.py等等)横行的时代，从底层的socket开始写服务器似乎是一个出力不讨好的笨方法。

框架的意义在于掩盖底层的细节，提供一套对于开发人员更加友好的API，并处理诸如MVC的布局问题。

框架允许我们快速的构建一个成型而且成熟的Python服务器。然而，框架本身也是依赖于底层(比如socket)。对于底层socket的了解，不仅可以帮助我们更好的使用框架，更可以让我们明白框架是如何设计的。

更进一步，如果拥有良好的底层socket编程知识和其他系统编程知识，你完全可以设计并开发一款自己的框架。

如果你可以从底层socket开始，实现一个完整的Python服务器，支持用户层的协议，并处理好诸如MVC(Model-View-Control)、多线程(threading)等问题，并整理出一套清晰的函数或者类，作为接口(API)呈现给用户，你就相当于设计了一个框架。

socket接口是实际上是操作系统提供的系统调用。

socket的使用并不局限于Python语言，你可以用C或者Java来写出同样的socket服务器，而所有语言使用socket的方式都类似(Apache就是使用C实现的服务器)。

但是你不能跨语言的使用框架。

框架的好处在于帮你处理了一些细节，从而实现快速开发，但同时受到Python本身性能的限制。

我们已经看到，许多成功的网站都是利用动态语言(比如Python, Ruby或者PHP，比如twitter和facebook)快速开发，在网站成功之后，将代码转换成诸如C和JAVA这样一些效率比较高的语言，从而让服务器能更有效率的面对每天亿万次的请求。

在这种情况下，底层的重要性，就远远超过了框架。

TCP/IP和socket简介

回到我们的任务。

我们需要对网络传输，特别是TCP/IP协议和socket有一定的了解。

socket是进程间通信的一种方法，它是基于网络传输协议的上层接口。

socket有许多种类型，比如基于TCP协议或者UDP协议(两种网络传输协议)，其中又以TCP socket最为常用。

TCP socket与双向管道(duplex PIPE)有些类似，一个进程向socket的一端写入或读取文本流，而另一个进程可以从socket的另一端读取或写入，比较特别是，这两个建立socket通信的进程可以分别属于两台不同的计算机。

TCP协议，就是规定了一些通信的守则，以便在网络环境下能够有效实现上述进程间通信过程。

双向管道(duplex PIPE)存活于同一台电脑中，所以不必区分两个进程的所在计算机的地址，而socket必须包含有地址信息，以便实现网络通信。

一个socket包含四个地址信息:两台计算机的IP地址和两个进程所使用的端口(port)。IP地址用于定位计算机，而port用于定位进程(一台计算机上可以有多个进程分别使用不同的端口)。

TCP socket

在互联网上，让某台计算机作为服务器。

服务器开放自己的端口，被动等待其他计算机连接。

当其他计算机作为客户，主动使用socket连接到服务器的时候，服务器就开始为客户提供服务。

在Python中，我们使用标准库中的socket包来进行底层的socket编程。

首先是服务器端，我们使用bind()方法来赋予socket以固定的地址和端口，并使用listen()方法来被动的监听该端口。

当有客户尝试用connect()方法连接的时候，服务器使用accept()接受连接，从而建立一个连接的socket：

socket.socket()创建一个socket对象，并说明socket使用的是IPv4(AF_INET，IP version 4)和TCP协议(SOCK_STREAM)。

然后用另一台电脑作为客户，我们主动使用connect()方法来搜索服务器端的IP地址(在Linux中，你可以用$ifconfig来查询自己的IP地址)和端口，以便客户可以找到服务器，并建立连接:

在上面的例子中，我们对socket的两端都可以调用recv()方法来接收信息，调用sendall()方法来发送信息。

这样，我们就可以在分处于两台计算机的两个进程间进行通信了。

当通信结束的时候，我们使用close()方法来关闭socket连接。

(如果没有两台计算机做实验，也可以将客户端IP想要connect的IP改为"127.0.0.1"，这是个特殊的IP地址，用来连接当地主机。)

基于TCP socket的HTTP服务器

上面的例子中，我们已经可以使用TCP socket来为两台远程计算机建立连接。

然而，socket传输自由度太高，从而带来很多安全和兼容的问题。

我们往往利用一些应用层的协议(比如HTTP协议)来规定socket使用规则，以及所传输信息的格式。

HTTP协议利用请求-回应(request-response)的方式来使用TCP socket。

客户端向服务器发一段文本作为request，服务器端在接收到request之后，向客户端发送一段文本作为response。

在完成了这样一次request-response交易之后，TCP socket被废弃。

下次的request将建立新的socket。

request和response本质上说是两个文本，只是HTTP协议对这两个文本都有一定的格式要求。

Request<——> Response

现在，我们写出一个HTTP服务器端：

HTTP服务器程序的解释

如我们上面所看到的，服务器会根据request向客户传输的两条信息text_content和pic_content中的一条，作为response文本。

整个response分为起始行(start line),头信息(head)和主体(body)三部分。起始行就是第一行:

它实际上又由空格分为三个片段，HTTP/1.x表示所使用的HTTP版本，200表示状态(status code)，200是HTTP协议规定的，表示服务器正常接收并处理请求，OK是供人来阅读的status code。

头信息跟随起始行，它和主体之间有一个空行。

这里的text_content或者pic_content都只有一行的头信息，text_content用来表示主体信息的类型为html文本：

而pic_content的头信息(Content-Type: image/jpg)说明主体的类型为jpg图片(image/jpg)。

主体信息为html或者jpg文件的内容。

(注意，对于jpg文件，我们使用"rb"模式打开，是为了与windows兼容。因为在windows下，jpg被认为是二进制(binary)文件，在UNIX系统下，则不需要区分文本文件和二进制文件。)

我们并没有写客户端程序，后面我们会用浏览器作为客户端。

request由客户端程序发给服务器。

尽管request也可以像response那样分为三部分，request的格式与response的格式并不相同。

request由客户发送给服务器，比如下面是一个request：

起始行可以分为三部分，第一部分为请求方法(request method)，第二部分是URL，第三部分为HTTP版本。

request method可以有GET， PUT， POST， DELETE， HEAD。最常用的为GET和POST。

GET是请求服务器发送资源给客户，POST是请求服务器接收客户送来的数据。

当我们打开一个网页时，我们通常是使用GET方法；当我们填写表格并提交时，我们通常使用POST方法。

第二部分为URL，它通常指向一个资源(服务器上的资源或者其它地方的资源)。像现在这样，就是指向当前服务器的当前目录的test.jpg。

按照HTTP协议的规定，服务器需要根据请求执行一定的操作。

正如我们在服务器程序中看到的，我们的Python程序先检查了request的方法，随后根据URL的不同，来生成不同的response(text_content或者pic_content)。

随后，这个response被发送回给客户端。

使用浏览器实验

为了配合上面的服务器程序，我已经在放置Python程序的文件夹里，保存了一个test.jpg图片文件。

我们在终端运行上面的Python程序，作为服务器端，再打开一个浏览器作为客户端。

(如果有时间，你也完全可以用Python写一个客户端。原理与上面的TCP socket的客户端程序相类似。)

在浏览器的地址栏输入:

(当然，你也可以用令一台电脑，并输入服务器的IP地址)

OK，我已经有了一个用Python实现的，并从socket写起的服务器了。

从终端，我们可以看到，浏览器实际上发出了两个请求。

第一个请求为(关键信息在起始行，这一个请求的主体为空):

我们的Python程序根据这个请求，发送给服务器text_content的内容。

浏览器接收到text_content之后，发现正文的html文本中有<IMG src="text.jpg"/>，知道需要获得text.jpg文件来补充为图片，立即发出了第二个请求:

我们的Python程序分析过起始行之后，发现/test.jpg符合if条件，所以将pic_content发送给客户。

最后，浏览器根据html语言的语法，将html文本和图画以适当的方式显示出来。

探索的方向

1)在我们上面的服务器程序中，我们用while循环来让服务器一直工作下去。

实际上，我们还可以根据多线程的知识，将while循环中的内容改为多进程或者多线程工作。

2)我们的服务器程序还不完善，我们还可以让我们的Python程序调用Python的其他功能，以实现更复杂的功能。比如说制作一个时间服务器，让服务器向客户返回日期和时间。你还可以使用Python自带的数据库，来实现一个完整的LAMP服务器。

3) socket包是比较底层的包。Python标准库中还有高层的包，比如SocketServer，SimpleHTTPServer，CGIHTTPServer，cgi。这些都包都是在帮助我们更容易的使用socket。如果你已经了解了socket，那么这些包就很容易明白了。利用这些高层的包，你可以写一个相当成熟的服务器。

4)在经历了所有的辛苦和麻烦之后，你可能发现，框架是那么的方便，所以决定去使用框架。或者，你已经有了参与到框架开发的热情。