fastdfs

fastDSF介绍 　　FastDFS是用c语言编写的一款开源的分布式文件系统，它是由淘宝资深架构师余庆编写并开源。FastDFS专为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 为什么要使用fastDFS呢？ 　　NFS、GFS都是通用的分布式文件系统，通用的分布式文件系统的优点的是开发体验好，但是系统复杂性高、性能一般，而专用的分布式文件系统虽然开发体验性差，但是系统复杂性低并且性能高。fastDFS非常适合存储图片等那些小文件，fastDFS不对文件进行分块，所以它就没有分块合并的开销，fastDFS网络通信采用socket，通信速度很快。 来源： https://www.cnblogs.com/yanxiaoge/p/11853758.html

参考博客 http://www.linux178.com/storage/fastdfs-nginx-cache.html centos安装FastDFS+Nginx FastDFS 安装及使用 http://www.linuxidc.com/Linux/2015-01/111889.htm 软硬件准备 最小化安装的 CentOS 6.2 tracker1: 192.168.227.128 storage1: 192.168.227.130 storage1: 192.168.227.131 一.安装EPEL yum install http://mirrors.hustunique.com/epel//6/x86_64/epel-release-6-8.noarch.rpm 当然，你的访问速度有些慢，你可以尝试如下操作，然后再安装epel 《 C entos修改镜像为国内的阿里云源或者163源等国内源 》 二、安装libevent，为了编译FastDFS做准备 卸载掉旧版本 rpm -qa libevent libevent-1.4.13-1.el6.x86_64 rpm -e --nodeps libevent 然后下载安装新版本 1.下载libevent： wget https://github.com/downloads/libevent/libevent/libevent

1.技术选型 前端技术： 基础的HTML、CSS、JavaScript（基于ES6标准） JQuery Vue.js 2.0以及基于Vue的框架：Vuetify（UI框架） 前端构建工具：WebPack 前端安装包工具：NPM Vue脚手架：Vue-cli Vue路由：vue-router ajax框架：axios 基于Vue的富文本框架：quill-editor 后端技术： 基础的SpringMVC、Spring 5.x和MyBatis3 Spring Boot 2.0.7版本 Spring Cloud 最新版 Finchley.SR2 Redis-4.0 RabbitMQ-3.4 Elasticsearch-6.3 nginx-1.14.2 FastDFS - 5.0.8 MyCat Thymeleaf mysql 5.6 2.开发环境 为了保证开发环境的统一，希望每个人都按照我的环境来配置： IDE：我们使用Idea 2017.3 版本 JDK：统一使用JDK1.8 项目构建：maven3.3.9以上版本即可（3.5.2） 版本控制工具：git idea大家可以在我的课前资料中找到。另外，使用帮助大家可以参考课前资料的《idea使用指南.md》 3.域名 我们在开发的过程中，为了保证以后的生产、测试环境统一。尽量都采用域名来访问项目。 一级域名： www.leyou.com

今天由于安装了高版本的fastdfs，与nginx不兼容，因此要卸载掉，重新安装。 转载： http://www.leftso.com/blog/244.html 1 ) 停止服务 [root@bogon fdfs]#service fdfs_trackerd stop [root@bogon fdfs]#service fdfs_storaged stop 2) 通过storage.conf 找到base_path 和store_path 然后删除 [root@bogon fdfs]# cat /etc/fdfs/storage.conf |grep base_path base_path = /opt/fastdfs_storage # store_path#, based 0, if store_path0 not exists, it's value is base_path [root@bogon fdfs]# [root@bogon fdfs]# cat /etc/fdfs/storage.conf |grep store_path store_path_count=1 # store_path#, based 0, if store_path0 not exists, it's value is base_path store_path0= /opt/fastdfs

pom.xml <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-thymeleaf</artifactId> </dependency> <dependency> <groupId>com.github.tobato</groupId> <artifactId>fastdfs-client</artifactId> <version>1.26.2</version> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot

1、下载官方的源代码： https://codeload.github.com/happyfish100/fastdfs-client-java/zip/master 2、采用maven命令编译成jar安装到本地maven库：mvn clean install 3、在Java程序中使用它提供的API来访问fastDFS文件系统； 注：maven官网的客户端有点问题，需要自己生成jar包 执行mvn clean install后，会出现在本地仓库中 测试代码如下 工具类 package com.topcheer.fastdfs; ​ import java.io.IOException; ​ import org.csource.fastdfs.ClientGlobal; import org.csource.fastdfs.StorageClient; import org.csource.fastdfs.StorageServer; import org.csource.fastdfs.TrackerClient; import org.csource.fastdfs.TrackerServer; ​ public class FastDfsUtil { ​ private static final String conf = "fastdfs-client.conf";

百度云 ：所有附件的地址 一 安装前的检查 检查Linux上是否安装了 gcc、libevent、libevent-devel，执行如下yum命令检查： [root@node02 ~]# yum list installed | grep gcc gcc.x86_64 4.8.5-39.el7 @base gcc-c++.x86_64 4.8.5-39.el7 @base libgcc.x86_64 4.8.5-39.el7 @base [root@node02 ~]# yum list installed | grep libevent libevent.x86_64 2.0.21-4.el7 @anaconda libevent-devel.x86_64 2.0.21-4.el7 @base [root@node02 ~]# yum list installed | grep libevent-devel libevent-devel.x86_64 2.0.21-4.el7 @base [root@node02 ~]# ​如果没有安装，则需进行安装，执行如下命令安装： yum install gcc libevent libevent-devel -y 二 安装 libfastcommon 库 libfastcommon 库是 FastDFS 文件系统运行需要的公共 C

1、简介 FastDFS对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载、文件删除）等，解决了大容量文件存储的问题，特别适合以文件为载体的在线服务，如相册网站、文档网站、图片网站、视频网站等等； FastDFS充分考虑了冗余备份、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务； 　　Tracker Server ：跟踪服务器，主要做调度工作，起到均衡的作用；负责管理所有的 storage server和 group，每个 storage 在启动后会连接 Tracker，告知自己所属 group 等信息，并保持周期性心跳。 　　Storage Server ：存储服务器，主要提供容量和备份服务；以 group 为单位，每个 group 内可以有多台 storage server，数据互为备份。 　　Client ：客户端，上传下载数据的服务器，也就是我们自己的项目所部署在的服务器。 2、FastDFS的存储策略 为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的

什么是FastDFS？ FastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件（建议范围：4KB < file_size < 500MB）为载体的在线服务，如相册网站、视频网站等等。 FastDFS架构 FastDFS的工作流程 上传文件 上传的流程： client询问tracker上传到的storage tracker返回一台可用的storage client直接和storage通信，完成文件上传 选择tracker server 集群中tracker之间是对等关系，client在上传文件时可以使用任意一个tracker 选择存储group 当tracker接收到上传文件的请求的时候，会为该文件分配一个可以存储的group。目前支持选择的group的规则有： Round robin，轮询 Sepcified group，上传的时候指定某个group Load balance，生成存储空间较多的group优先 选择storage server 当选定group后，tracker会在group内选择一个storage server给client，目前支持选择server的规则有： Round robin，轮询（默认） 根据IP地址进行排序，选择第一个服务器（IP地址最小者） 根据优先级进行排序，上传优先级由storage

搭建fastDfs服务器请参考 http://www.imooc.com/article/66981?block_id=tuijian_wz StorageClient的代理类BeeStorageClient package com.declanwu.pub.fastdfs.client; import org.csource.common.MyException; import org.csource.fastdfs.StorageClient; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springframework.beans.factory.annotation.Value; import java.io.IOException; public class BeeStorageClient { private Logger logger = LoggerFactory.getLogger(this.getClass()); private StorageClient storageClient; @Value("${fastdfs.storage_server}") private String storage_server; public BeeStorageClient