fastdfs

环境:centos7 1.什么是分布式文件系统 分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。 通俗来讲： 传统文件系统管理的文件就存储在本机。 分布式文件系统管理的文件存储在很多机器，这些机器通过网络连接，要被统一管理。无论是上传或者访问文件，都需要通过管理中心来访问 2.什么是FastDFS FastDFS是由淘宝的余庆先生所开发的一个轻量级、高性能的开源分布式文件系统。用纯C语言开发，功能丰富： 文件存储 文件同步 文件访问（上传、下载） 存取负载均衡 在线扩容 适合有大容量存储需求的应用或系统。同类的分布式文件系统有谷歌的GFS、HDFS（Hadoop）、TFS（淘宝）等。 3.FastDFS的架构 3.1.架构图 先上图： FastDFS两个主要的角色：Tracker Server 和 Storage Server 。 Tracker Server：跟踪服务器，主要负责调度storage节点与client通信，在访问上起负载均衡的作用，和记录storage节点的运行状态，是连接client和storage节点的枢纽。 Storage Server：存储服务器，保存文件和文件的meta data（元数据），每个storage

一、分布式系统 在计算机领域，当单机性能达到瓶颈时，一般有两种方式解决性能问题， 一是堆硬件，进一步提升配置； 二是分布式，水平扩展、垂直拆分。 分布式系统有很多种：分布式文件系统、分布式数据库、分布式WebService、分布式计算等等， 面向的情景不同，但分布式的思路大致相同，万法归一吧！ 以下内容主要来自： 分布式系统架构思想 1.1、分布式系统实现的两种方式【水平扩展、垂直拆分】 1.1.1、简单的例子 假设我们有一台服务器，它可以承担1百万/秒的请求，这个请求可以的是：通过http访问网页、通过tcp下载文件、jdbc执行sql、RPC调用接口等等方式，现在我们有一条数据的请求是2百万/秒，很显然服务器很难hold住，会各种拒绝访问，甚至宕机，怎么办呢？ 一台机器解决不了的问题，那就两台。所以我们加一台机器，每台承担1百万。如果请求继续增加呢，两台解决不了的问题，那就三台呗。这种方式我们称之为水平扩展，如果实现请求的平均分配便是负载均衡了。 另一个例子，我们现在有两个数据请求，数据190万，数据280万，上面那台机器也hold不住，我们加一台机器来负载均衡一下，每台机器处理45万数据1和40万数据2，但是平分太麻烦，不如一台处理数据1，一台处理数据2，同样能解决问题，这种方式我们称之为垂直拆分。 水平扩展和垂直拆分是分布式架构的两种思路，但并不是一个二选一的问题

传统文件上传 1.spring boot没有WEB-INF文件不支持编译图片 2.后台调用和前台调用不好处理如果前台从数据库中查询的话我们存入的是字符串所以我们不能直接拿到图片 spring boot文件上传 Fastdfs 在spring boot中我们使用fastdfs来上传文件 来源： https://www.cnblogs.com/xiaoruirui/p/11988640.html

FastDFS搭建分布式文件系统 1. 什么是分布式文件系统 分布式文件系统 （Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。 通俗来讲： 传统文件系统管理的文件就存储在本机。 分布式文件系统管理的文件存储在很多机器，这些机器通过网络连接，要被统一管理。无论是上传或者访问文件，都需要通过管理中心来访问 2. 什么是FastDFS FastDFS是由淘宝的余庆先生所开发的一个轻量级、高性能的开源分布式文件系统。用纯C语言开发，功能丰富： 文件存储 文件同步 文件访问（上传、下载） 存取负载均衡 在线扩容 适合有大容量存储需求的应用或系统。同类的分布式文件系统有谷歌的GFS、HDFS（Hadoop）、TFS（淘宝）等。 3. FastDFS的架构 3.1 fast架构 FastDFS两个主要的角色：Tracker Server 和 Storage Server 。 Tracker Server ：跟踪服务器，主要负责 调度 storage节点与client通信，在访问上起 负载均衡 的作用，和记录storage节点的运行状态，是连接client和storage节点的 枢纽 。 Storage Server ：存储服务器， 保存 文件和文件的meta data（元数据），每个storage

FastDFS搭建分布式文件系统 1. 什么是分布式文件系统 分布式文件系统 （Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。 通俗来讲： 传统文件系统管理的文件就存储在本机。 分布式文件系统管理的文件存储在很多机器，这些机器通过网络连接，要被统一管理。无论是上传或者访问文件，都需要通过管理中心来访问 2. 什么是FastDFS FastDFS是由淘宝的余庆先生所开发的一个轻量级、高性能的开源分布式文件系统。用纯C语言开发，功能丰富： 文件存储 文件同步 文件访问（上传、下载） 存取负载均衡 在线扩容 适合有大容量存储需求的应用或系统。同类的分布式文件系统有谷歌的GFS、HDFS（Hadoop）、TFS（淘宝）等。 3. FastDFS的架构 3.1 fast架构 FastDFS两个主要的角色：Tracker Server 和 Storage Server 。 Tracker Server ：跟踪服务器，主要负责 调度 storage节点与client通信，在访问上起 负载均衡 的作用，和记录storage节点的运行状态，是连接client和storage节点的 枢纽 。 Storage Server ：存储服务器， 保存 文件和文件的meta data（元数据），每个storage

FastDFS的安装 首先需要准备的资源如下： libfastcommon-master： https://github.com/happyfish100/libfastcommon FastDFS + nginx-module： https://sourceforge.net/projects/fastdfs/files/ ngx_cache_purge-2.3： http://labs.frickle.com/nginx_ngx_cache_purge/ 开始libfastcommon的安装（ 两台机器同时进行，一台tracker、一台storage ） 第一步：安装gcc 命令：yum install make cmake gcc gcc-c++ 第二步：解压libfastcommon-master.zip到指定文件夹（-d）， 命令：unzip libfastcommon-master.zip -d /usr/local/fast/ 第三步：进入解压后的文件夹中编译和安装， 命令：./make.sh ./make.sh install 开始FashDFS核心安装： 第一步：解压缩到指定目录下 命令：tar -zxvf FastDFS_v5.05.tar.gz -C /usr/local/fast/ 编译 命令：./make.sh 安装 命令：./make.sh

目录 nginx工作原理 nginx常用命令 nginx添加新模块 配置nginx与FastDFS关联配置文件 nginx概念 nginx的命令，配置！ nginx工作原理 Nginx工作原理（Master+Worker） nginx常用命令 测试配置文件 nginx -t 启动： 指定配置文件 nginx -p `pwd`/ -c conf/nginx.conf 停止： nginx指定配置文件的，停止时也需指定参数 nginx -p `pwd`/ -c conf/nginx.conf -s quit nginx添加新模块 nginx添加新模块 配置nginx与FastDFS关联配置文件 复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录， 并修改 cp /usr/local/leyou/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/ vi /etc/fdfs/mod_fastdfs.conf 修改以下配置： 这里不要在配置项后面写中文注释，不然配置文件不生效！！！ connect_timeout=10 # 客户端访问文件连接超时时长（单位：秒） tracker_server=192.168.56.101:22122 # tracker服务IP和端口 url_have_group

由于看到了商城的项目，本来无心搭建那个文件上传服务器的，可是看到了人家自己使用了FastDFS服务器，我想自己怎么不能搭建呢，干就是了。 先介绍下为何使用这个东西： FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。 特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 FastDFS服务端主要有：跟踪器(tracker)群和存储节点(storage)，跟踪器做调度工作，在访问上起负载均衡的作用， 跟踪器和存储节点都可以由一台或多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。 其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。 上传交互过程编辑 1. client询问tracker上传到的storage，不需要附加参数； 2. tracker返回一台可用的storage； 3. client直接和storage通讯完成文件上传。 下载交互过程编辑 1. client询问tracker下载文件的storage

　　FastDFS版本升级，采用直接覆盖的方式。 1、如libfastcommon最新版，下载后直接默认路径编译安装 直接make && make install git clone https://github.com/happyfish100/libfastcommon.git --depth 1 cd libfastcommon/ ./make.sh && ./make.sh install 2、如fastDFS最新版，下载后直接默认路径编译安装 cd ../ #返回上一级目录 git clone https://github.com/happyfish100/fastdfs.git --depth 1 cd fastdfs/ ./make.sh && ./make.sh install #编译安装 【注意事项】 　　集群的所有tracker都需要升级完成后，才能正常启动tracker服务。 来源： https://www.cnblogs.com/slyy/p/11935793.html

FastDFS 安装规划： 项目 信息 Group Name group1 FastDFS安装主目录 /usr/local/fastdfs-5.0.8 FastDFS work主目录 /usr/local/fastdfs-workhome FastDFS Tracker Server work主目录 /usr/local/fastdfs/tracker FastDFS Storage Server work主目录 /usr/local/fastdfs/storage FastDFS Tracker Server服务端口 22122 FastDFS Tracker Server HTTP 端口 22080 FastDFS Storage Server 服务端口 23000 FastDFS Storage Server HTTP端口 23080 下载并安装 # 下载 github搜索 LibFastCommon FastDFS fastdfs-nginx-module 这里使用happyfish100的仓库 # 下载链接获取 点进项目 -> release -> 选择版本 -> Win下载zip | Linux下载tar.gz # 下载包 wget https://github.com/happyfish100/libfastcommon/archive/V1.0.41.tar.gz