Asp.Net Core 2.0 WebUploader FastDfs 文件上传分段上传

功能点：

1. 使用.net core 2.0 实现文件上传

2. 使用webuploader实现单文件，多文件上传

3. 使用webuploader实现大文件的分段上传。

4. 使用webuploader与FastDfs实现文件上传。

5. 通过依赖注入可以很方便地实现本地文件存储切换为FastDfs

主要功能：

直接上代码：

1. 使用.net core 2.0 实现文件上传

public ActionResult Upload(IFormCollection files)
        {
            var result = new UploadResult();

            foreach (var item in files.Files)
            {
                #region 把文件流转化为字节流
                byte[] buffer = new byte[item.Length];

                Stream fs = item.OpenReadStream();

                fs.Read(buffer, 0, buffer.Length);
                #endregion

                UploadConfig config = new UploadConfig
                {
                    Buffer = buffer,
                    FileName = item.FileName,
                    Chunked = files.Keys.Contains("chunk"),
                    PreviosName = files["previosName"]
                };

                result = _provider.Upload(config);
            }
            return Json(result);
        }

这里要注意参数，使用的是IFormCollection，没有使用IFormFile，使用后者的话，不能接收前台发送的自定义参数。虽然我用了fforeach循环，但实现上它的files count只有一个，不管前台发送的是一个文件，还是多个文件，这点还要研究一下，是不是有配置。

private readonly IFileSystemProvider _provider;

        public HomeController(IFileSystemProvider provider)
        {
            _provider = provider;

        }

IFileSystemProvider 为定义的接口，分别有本地文件存储，和分布式文件存储两种实现方式，后面会奉上代码。

2. 使用webuploader实现单文件，多文件上传
这里主要上前台代码：

// 实例化
        uploader = WebUploader.create({
            pick: {
                id: '#filePicker',
                label: '点击选择文件'
            },
            dnd: '#dndArea',
            paste: '#uploader',
            swf:'lib/webuploader/Uploader.swf',
            chunked: true, //分片处理大文件
            chunkSize: 1 * 1024 * 1024,
            server: home/upload,
            disableGlobalDnd: true,
            threads: 1, //上传并发数
            fileNumLimit: 300,
            compress: false, //图片在上传前不进行压缩
            fileSizeLimit: 1024 * 1024 * 1024,    // 1024 M
            fileSingleSizeLimit: 1024 * 1024 * 1024    // 1024 M
        });

初始化webuploader这里要注意threads我想的是1，如果分段上传，几个分段同时发送的话，后台如果写入是个问题，特别是使用fastdfs, .net版本的sdk还不支持指定位置写入的功能。

注意到一个事件：它是实现分段上传重中之重

uploader.on('uploadAccept', function (file, response) {
            if (file.chunk + 1 !== file.chunks) {
                $.extend(uploader.options.formData, { previosName: response.filePath });
            } else {
                $.extend(uploader.options.formData, { previosName: "" });
            }
            return true;
        });

这里着重解释一下。看到网上关于文件分段上传，都是在服务器端用临时文件记录着文件上传的地址，当有分段信息到达时，会查询临时文件，取出文件地址，然后再往这个地址追加文件流。

这样增加了服务器端的复杂度，而且如果是分布式部署的话，会存在找到临时文件的问题，进而会考虑到数据库和分布式缓存的解决方案，更加复杂了。

这里简单说明一下解决思路：

1）后台：第一段上传成功后，返回文件地址。如代码的 return Json(result);

2）前台：使用uploadAccept事件接收文件信息和后台返回地址。

3）前台：在uploadAccept事件中：添加往后台发送的参数previosName：第一段返回的文件地址。

这里要注意如果是多个文件上传的话，第二个文件的第一个分段不能带有第一个文件的上传地址，如上代码所示

4）后台：如上面的代码所示，接收前台发送的文件地址，做文件的追加，即可。

3. 使用webuploader实现大文件的分段上传。

下面是服务端的代码：

public UploadResult Upload(UploadConfig config)
        {
            //相对路径
            string path = GetFileName(config);

            //根据路径创建一个新的文件，并在指定位置写入字节，如果文件已存在，就追加
            using (FileStream fs = File.OpenWrite(Path.Combine(_option.RootFilePath, path)))
            {
                if (fs.CanWrite)
                {
                    fs.Seek(fs.Length, SeekOrigin.Current);
                    fs.Write(config.Buffer, 0, config.Buffer.Length);
                    fs.Flush();
                    fs.Close();
                }
            }

            return new UploadResult { FilePath = path, OriginalName = config.FileName };
        }

        private string GetFileName(UploadConfig config)
        {
            string path;

            if (string.IsNullOrEmpty(config.PreviosName))
            {
                path = Path.Combine(subDirectory, $"{GuidTo16String()}.{config.FileName}"); //返回的相对路径和文件名

                CheckSavePath();
            }
            else
            {
                path = config.PreviosName;
                if (string.IsNullOrEmpty(config.PreviosName))
                {
                    throw new ArgumentNullException("PreviosName 参数不能为空");
                }
            }

            return path;
        }

        private string CheckSavePath()
        {
            var path = Path.Combine(_option.RootFilePath, subDirectory);

            // 如何路径不存在，就创建文件路径
            if (!Directory.Exists(path))
            {
                Directory.CreateDirectory(path);
            }

            return path;
        }

这里关注一下GetFileName方法：代码很简单，就不做说明了。

4. 使用webuploader与FastDfs实现文件上传

前端代码和服务端的action的代码是一样的。主要是写文件的方式不一样，主要代码如下：

public UploadResult Upload(UploadConfig config)
        {
            if (string.IsNullOrEmpty(config.PreviosName))
            {
                var fileName = string.Empty;
                var storageNode = _client.GetStorageNode(config.GroupName);

                if (!config.Chunked)
                {
                    fileName = _client.UploadFile(storageNode, config.Buffer, Path.GetExtension(config.FileName));
                }
                else
                {
                    //分段上传需要调用这个方法
                    fileName = _client.UploadAppenderFile(storageNode, config.Buffer, Path.GetExtension(config.FileName));
                }

                return new UploadResult { FilePath = fileName, OriginalName = config.FileName };
            }
            else
            {
                //分段上传：需要提供上传GroupName, 文件上传地址PreviosName，文件上传内容filebody
                //续传 地址config.PreviosName
                _client.AppendFile(config.GroupName, config.PreviosName, config.Buffer);

                return new UploadResult { FilePath = config.PreviosName, OriginalName = config.FileName };
            }
        }

这里注意分段上传的文件，第一段上传使用的方法是UploadAppenderFile，后续使用的是AppendFile。

连接FastDfs的代码如下：

public class FastDfsClientProvider : IFastDfsClientProvider
    {
        private readonly FastDfsOption _options;

        public FastDfsClientProvider(FastDfsOption options)
        {
            _options = options;
        }

        public FastDfsClient GetClient()
        {
            return new FastDfsClient(new List<IPEndPoint>
            {
                new IPEndPoint(IPAddress.Parse(_options.IpAddress), _options.Port)
            });
        }
    }

5. 通过依赖注入可以很方便地实现本地文件存储切换为FastDfs

代码如下：

public void ConfigureServices(IServiceCollection services)
        {
            services.AddMvc();

            
            services.AddTransient<IFileSystemProvider>(m=> {
                IHostingEnvironment env = m.GetService<IHostingEnvironment>();

                LocalFsOption lOption = new LocalFsOption
                {
                    RootFilePath = Path.Combine(env.ContentRootPath, "Files")
                };
                return new LocalFsProvider(lOption);
            });
        }