使用Python3.7+Tornado5.1配合七牛云存储api来异步切分上传文件

2022-11-27,,,,

原文转载自「刘悦的技术博客」https://v3u.cn/a_id_123

之前写了几篇关于FastDfs分布式存储的文章:python3.7.3操作FastDfs来进行文件操作,其实市面上关于云存储的第三方服务比比皆是,最著名的无疑就是七牛云存储,本次我们将演示用tornado配合七牛云来进行文件的云存储操作。

在做七牛云的文件上传时,很多人有一个误区,就是以为是前端先上传到后台服务器,然后后台服务器再将文件上传到七牛云,这个逻辑本身没有问题,但是会遇到一个问题,如果是后台对接七牛,出一个接口,前端调用接口,先将图片传到后台,然后后台再上传七牛云,用的过程中发现,文件小的情况下还好,文件一旦到了几十兆甚至几百兆的时候就很慢,前端上传图片到后台需要一定时间,后端上传到七牛又需要一段时间,很是麻烦,所以逻辑应该是前端直接上传七牛,而后台只承担生成token和存储七牛云返回的hash的任务。

首先,使用tornado写一个实时生成token的接口,进入你的七牛云账号,打开秘钥页,记录下你的ak和sk

然后打开云存储空间,记录一下你云存储空间的名称

此时,用tornado写一个接口,用来返回七牛云的上传token,写之前先安装依赖 pip install qiniu

#七牛云token
from qiniu import Auth
class QiNiuHandler(BaseHandler):
async def get(self):
q = Auth('E2IZM3koC1GR1DUqJHactmixzdyZZhx0edBKqDsk','GDnMkvRoE_kFhCSuvdqQj0VcNsRDOHzYJJ_bVd0_')
token = q.upload_token('redinnovation')
print(token) self.write(json.dumps({'uptoken':token},ensure_ascii=False))

写好后,访问tornado服务,确保每一次都会生成新的token,访问http://localhost:8000/uptoken

此时,后台接口已经写好,制作一个demo.html,用来写前端操作

<!doctype html>
<html lang="zh">
<head>
<meta charset="UTF-8">
<meta name="viewport"
content="width=device-width, user-scalable=no, initial-scale=1.0, maximum-scale=1.0, minimum-scale=1.0">
<meta http-equiv="X-UA-Compatible" content="ie=edge">
<title>js上传文件到七牛</title>
<style>
#container{
width:200px;
height:200px;
border:1px solid #9d9d9d;
border-radius: 6px;
margin:50px auto;
position: relative;
overflow: hidden;
}
.upload-progress{
width:100%;
height:100%;
position: absolute;
top:0;
left:0;
background: rgba(0,0,0,0.5);
z-index: 5;
color:#fff;
line-height: 200px;
text-align: center;
display: none;
}
#uploadImage{
width:100%;
height:100%;
position: absolute;
top:0;
left:0;
z-index: 2;
text-align: center;
line-height: 200px;
cursor: pointer;
}
#container img{
width:100%;
position: absolute;
top:0;
left:0;
z-index: 1;
}
</style>
</head>
<body>
<div id="container">
<div id="uploadImage">选择文件</div>
<div class="upload-progress"></div>
</div> <script src="./moxie.js"></script>
<script src="./plupload.full.min.js"></script>
<script src="./qiniu.min.js"></script>
<script src="./jquery-1.12.1.min.js"></script>
<script>
var uploader = Qiniu.uploader({
disable_statistics_report: false, // 禁止自动发送上传统计信息到七牛,默认允许发送
runtimes: 'html5,flash,html4', // 上传模式,依次退化
browse_button: 'uploadImage', // 上传选择的点选按钮,必需
container: 'container', // 上传区域DOM ID,默认是browser_button的父元素
max_file_size: '500mb', // 最大文件体积限制
flash_swf_url: 'Moxie.swf', // 引入flash,相对路径
dragdrop: false, // 关闭可拖曳上传
chunk_size: '4mb', // 分块上传时,每块的体积
multi_selection: !(moxie.core.utils.Env.OS.toLowerCase() === "ios"),
uptoken_url: 'http://localhost:8000/uptoken', // 在初始化时,uptoken,uptoken_url,uptoken_func三个参数中必须有一个被设置,uptoken是上传凭证,由其他程序生成;uptoken_url是提供了获取上传凭证的地址,如果需要定制获取uptoken的过程则可以设置uptoken_func;其优先级为uptoken > uptoken_url > uptoken_func
//uptoken:'q06bq54Ps5JLfZyP8Ax-qvByMBdu8AoIVJpMco2m:kyTiuN6GBUpfNt1nJIA7C8CCStY=:eyJzY29wZSI6IjEzMTIzMTIzMTIzIiwiZGVhZGxpbmUiOjE1NzY0MTM3MTB9',
domain: 'redinnovation.s3-cn-north-1.qiniucs.com', // bucket域名,下载资源时用到,必需
get_new_uptoken: false, // 设置上传文件的时候是否每次都重新获取新的uptoken
auto_start: true, // 选择文件后自动上传,若关闭需要自己绑定事件触发上传
max_retries: 3, // 上传失败最大重试次数
save_key: true,
resize: { // 想限制上传图片尺寸,直接用resize这个属性
width: 300,
height: 300
},
init: {
'FilesAdded': function(up, files) { // 文件添加进队列后,处理相关的事情
plupload.each(files, function(file) {
console.log(file)
});
},
'BeforeUpload': function(up, file) { // 每个文件上传前,处理相关的事情
console.log("开始上传之前");
$(".upload-progress").show();
},
'UploadProgress': function(up, file) { // 每个文件上传时,处理相关的事情
console.log("上传中");
$(".upload-progress").html("上传进度:"+file.percent + "%");
},
'FileUploaded': function(up, file, info) { // 每个文件上传成功后,处理相关的事情
console.log("上传成功");
console.log(info);
//$(".upload-progress").hide();
//var img = new Image(); //创建一个Image对象,实现图片的预下载
//img.src = "http://qiniu.com/"+res.key;
//$("#container").append(img);
},
'Error': function(up, err, errTip) {
console.log("上传出错")
},
'UploadComplete': function() {
//队列文件处理完毕后,处理相关的事情
}
}
});
</script>
</body>
</html>

上传成功后,记得对应一下hash值,看是否一致

可以看到,完全一致,这也是七牛云的优势之一,利用文件hash来进行重复文件的排重,节约存储空间

总体上没有任何难度,值得一提的是,如果七牛云接口报400

说明你的上传区域没有设置对,存储空间在华北就是up-z1.qiniup.com,如果是华南的话就是up-z2.qiniup.com,只要修改qiniu.min.js中对应的网址即可。

最后奉上七牛云上传文件demo的项目地址:https://gitee.com/QiHanXiBei/qiniu_upload_demo

原文转载自「刘悦的技术博客」 https://v3u.cn/a_id_123

使用Python3.7+Tornado5.1配合七牛云存储api来异步切分上传文件的相关教程结束。

《使用Python3.7+Tornado5.1配合七牛云存储api来异步切分上传文件.doc》

下载本文的Word格式文档,以方便收藏与打印。