文件太大上传不了?看这里,秒传

boyanx20小时前技术教程2


前言

相信很多开发者,都做过文件上传的功能。简单的文件上传很容易,在PHP里两个函数就能搞定:

  • file_exists
  • move_uploaded_file

第一个函数判断文件是否存在,第二个函数上传文件。

但是如果上传的文件有几百M或几个G的时候,这样简单操作可能就不灵了,可能会出现timeout或内存溢出的情况。

之所以会这样,是因为上传文件时服务器是先将文件内容保存在内存中,然后才保存到文件中。另外,服务器对单次上传请求有时间和内存的限制,内存耗尽或时间超时,上传请求会被终止。虽然这两个值也是可以调整的,但是由于实际上传的文件是未知的,所以你也不确定多大的值是合适的。另外,如果内存限制设置得太大,时间设置太长,当你上传一个大文件时,有可能会将服务器内存耗尽,拖垮整个服务。

那如何解决大文件上传的问题呢?

当然是从这前面说到的两个原因着手!既然是因为文件太大,才导致请求耗时太长,内存占用太大,那我们可以将大文件分割成一个个小文件上传,也就是采用分片上传。

首先是前端将大文件分片上传,然后是后端将所有分片按顺序合并起来。如下:

前端分片我们可以使用webuploader.js组件,后端我们直接用Laravel框架即可。使用webuploader进行分片上传很简单,只需要配置几个参数即可,如下:

其中,chunked表示是否开启分片上传;chunkSize表示分片的大小,单位字节;threads表示并发量。这里需要注意的是由于计算文件的md5值需要一定的时间,所以这里没有使用自动上传,而是将选择文件和上传分成了两步。

后端部分需要接收file、chunks、chunk、md5、size几个参数,其中md5用于判断文件的唯一性,chunks、size用于判断分片是否上传完毕,如下:

这里也有一点需要注意,那就是服务端合并文件的时候最好使用stream_copy_to_stream进行流式操作,而不要直接file_put_contents。因为流式操作是一点点的合并的,不需要把全部的内容放在内存里,这样可以避免在合并分片的时候内存溢出。

另外,考虑到分片上传有可能存在部分成功的情况,因此,需要设置一个定时任务用于清除临时文件,以减少服务器的资源浪费。如下:

如此,大文件上传的问题就解决了。

虽然,这里使用PHP做服务端的演示,但是使用Java、Golang,依然可以参考本案例,因为原理基本一样。

标签: js文件上传

相关文章

安全漏洞之经典上传漏洞

0x01 概要说明文件上传漏洞可以说是日常渗透测试用得最多的一个漏洞,因为用它获得服务器权限最快最直接。但是想真正把这个漏洞利用好却不那么容易,其中有很多技巧,也有很多需要掌握的知识。俗话说,知己知彼...

DeepSeek从入门到精通(13)——上传文件功能

DeepSeek 提供的 上传文件功能 让你可以上传本地文件(如 PDF、Word、Excel、PPT、TXT 等),然后DeepSeek可以帮助你阅读、解析和提取文件中的信息,并回答你的相关问题。主...

常用JSP文件上传,下载的一些方法

常用JSP文件上传,下载的一些方法,Java实现文件分片上传、大文件秒传,大文件如何做断点续传?JAVAWEB 文件上传及下载,JAVA大文件上传,大文件下载解决方案,JAVA实现文件分片上传并且断点...

Axure高保真教程:上传本地图片

编辑导语:上传图片是常见功能之一,但是Axure里没有上传图片的元件,因此,若想画出高保真的上传图片原型,我们则需要另想方法。本篇文章里,作者介绍了利用代码制作上传图片原型模板的操作流程,不妨来看一下...

文件上传漏洞全面渗透姿势总结

文件上传的场景真的随处可见,不加防范小心,容易造成漏洞,造成信息泄露,甚至更为严重的灾难。比如某博客网站评论编辑模块,右上角就有支持上传图片的功能,提交带有恶意字符串的图片后,就直接可以显示在评论中了...

AspNetCore中的文件上传与下载优化

在现代Web开发中,文件上传和下载是常见的功能需求。然而,随着文件大小的增加或网络环境的变化,传统的文件上传和下载方式可能会遇到性能瓶颈或用户体验问题。本文将深入讲解如何在AspNetCore中实现...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。