fastdfs

fastDFS工具类 maven依赖 <!--fastDFS--> <dependency> <groupId>com.github.tobato</groupId> <artifactId>fastdfs-client</artifactId> <version>1.26.6</version> </dependency> package com.utils; import com.github.tobato.fastdfs.domain.fdfs.StorePath; import com.github.tobato.fastdfs.domain.proto.storage.DownloadByteArray; import com.github.tobato.fastdfs.exception.FdfsUnsupportStorePathException; import com.github.tobato.fastdfs.service.FastFileStorageClient; import org.apache.commons.io.FilenameUtils; import org.apache.commons.lang3.StringUtils; import org.slf4j.Logger; import org.slf4j.LoggerFactory;

主要是定位和应用场合不一样 HDFS： 要解决并行计算中分布式存储数据的问题。其单个数据文件通常很大，采用了分块（切分）存储的方式。 FastDFS： 主要用于大中网站，为文件上传和下载提供在线服务。所以在负载均衡、动态扩容等方面都支持得比较好，FastDFS不会对文件进行分快（切分）存储。 来源： https://www.cnblogs.com/zsg88/p/11372757.html

之前随便过一篇Docker来搭建分布式文件系统FastDfs就跳过了 https://www.cnblogs.com/xcsg/p/10901461.html FastDFS的Python (django客户端) 1.安装依赖 #安装库 pip install py3Fdfs pip install mutagen pip isntall requests 2.配置settings.py # 激活重写存储文件引擎方法 DEFAULT_FILE_STORAGE = 'utils.fdfs.storage.FDFSStorage' # 图片存阿里云的地址 FDAS_URL = 'http://39.97.117.229:8888/' # 存进阿里云服务器里因为没有后缀(jpg/png)，图片连接要放进 img 标签里才能显示 # <img src="http://39.106.64.101:8888/group1/M00/00/00/rBHmx10A9JmAVEKNAABf71XWOL06003319" alt=""># 配置 Fastdfs 配置文件 FDFS_CLIENT_CONF = os.path.join(BASE_DIR, 'client.conf') 3.配置client.conf 文件 connect_timeout=30 network_timeout=60

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 虚拟机环境 liunx服务器（一）：192.168.124.241（tracker） linux服务器（二）：192.168.124.242（storage） 链接：https://pan.baidu.com/s/1duk5TO0qupC6LEYhR4AKzA 提取码：k67x 安装依赖包 yum -y install pcre pcre- gcc-c++ gcc* zlib zlib-devel openssl openssl-devel gc-devel gd gd-devel git 包全部放在/usr/local/src下tar -zxvf 全部解压到/data/server/fastDFS目录下 安装libfastcommon mkdir -p /data/server/fastDFS cd /data/server/fastDFS/libfastcommon-1.0

是什么？ FastDFS是一个轻量级分布式文件系统。 能干嘛？ 对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等。 相关概念 一、网络拓扑图 对上图的基本了解，client是客户端，tracker和storage是FastDFS系统的俩个角色。 二、详细了解tracker和storage Storage 是什么？ 存储服务器 作用？ 主要作用是文件存储 相关介绍 1、如上图，storage做集群时，以组[group]为单位（也可以将一个组看成一个卷[volume]，不同材料称呼不同）。集群的总容量为所有组的总和。 2、 一个卷内storage server之间相互通信，文件进行同步，保证组内storage完全一致，所以 一 个卷的容量以最小的服务器为准。不同的卷之间相互不通信。 3、当某个卷的压力较大时可以添加storage server（纵向扩展），如果系统容量不够可以添加卷（横向扩展）。 Tracke 是什么 调度服务器 作用？ 负载均衡和调度，管理所有的卷[volume]包括其中的storage server 相关介绍 1、每个storage在启动后会连接Tracker，告知自己所属的group等信息，并保持周期性的心 跳，tracker根据storage的心跳信息，建立group==>[storage server list]的映射表。 2

一、 FastDFS ： 由跟踪服务器 (Tracker Server)、存储服务器(Storage Server)和客户端(Client)构成。 二、组成简介： 　1 ）客户端 Client； 　2 ）跟踪服务器 Tracker Server： Tracker Server作用是负载均衡和调度，通过Tracker server在文件上传时可以根据一些策略找到Storage server提供文件上传服务。可以将tracker称为追踪服务器或调度服务器。 FastDFS集群中的Tracker server可以有多台，Tracker server之间是相互平等关系同时提供服务，Tracker server不存在单点故障。客户端请求Tracker server采用轮询方式，如果请求的tracker无法提供服务则换另一个tracker。 　3 ）存储服务器 Storage Server： Storage Server作用是文件存储，客户端上传的文件最终存储在Storage服务器上，Storage server没有实现自己的文件系统而是使用操作系统的文件系统来管理文件。可以将storage称为存储服务器。 Storage集群采用了分组存储方式。storage集群由一个或多个组构成，集群存储总容量为集群中所有组的存储容量之和。一个组由一台或多台存储服务器组成，组内的Storage

系统从一个地方迁移到另一个地方，数据保持不变，但是ip地址和网络情况不一样了，最困难的是要迁移的那个地方还么有互联网，这TM就坑了，所以想到将FastDFS存储的目录整体拷贝过去，这个方法简单粗暴，这样文件在文件系统中的位置也不会发生变化，访问文件时文件地址只需要修改为迁移后的ip即可，那就这么干。 解决方案： 1.在需要迁移的服务器构建FastDFS文件系统，目录、http访问端口尽量保持不变。（迁移时需要停止新服务器的tracker服务和Storage服务） 2.将tracker目录下的data文件夹直接拷贝过去，覆盖新的文件系统中的tracker中的data目录，进行如下的修改：　 data|storage_groups_new.dat data|storage_servers_new.dat data|storage_sync_timestamp.dat 将上述文件中的旧ip改为新地址的ip即可（无ip信息则不需要修改）。 3.将storage目录下的data文件夹之际拷贝过去，覆盖新的文件系统中的storage中的data目录，进行如下的修改（使用ll -a查看隐藏文件）： data|.data_init_flag data|sync|${IP_addr}_${port}.mark #没有此类文件不需要修改 将上述文件中的旧ip改为新地址的ip即可。 4

1.docker search fastdfs > docker pull morunchang/fastdfs 2.启动tracker 启动就行 沿用默认配置 被访问端口为 22122 docker run -d --name tracker --net=host morunchang/fastdfs sh tracker.sh 3.退出tracker容器启动storage (查看 docker images 看tracker 有没有启动成功是不是正常启动状态) docker run -d --name=storage --privileged=true --net=host -e TRACKER_IP=172.18.34.54:22122 -p 80:80 -e GROUP_NAME=group1 morunchang/fastdfs sh storage.sh docker storage 启动 storage 命令 1.修改nginx 端口号为 -p所对应的 vi /etc/nginx/conf/nginx.conf //whereis nginx.conf 可以找到这个配置文件 可能有多个 修改成功之后要reload nginx whereis 找到/etc/nginx/sbin 下的 nginx ./nginx -s reload 重新载入配置 然后测试一下

　　FastDFS版本升级，采用直接覆盖的方式。 1、如libfastcommon最新版，下载后直接默认路径编译安装 直接make && make install git clone https://github.com/happyfish100/libfastcommon.git --depth 1 cd libfastcommon/ ./make.sh && ./make.sh install 2、如fastDFS最新版，下载后直接默认路径编译安装 cd ../ #返回上一级目录 git clone https://github.com/happyfish100/fastdfs.git --depth 1 cd fastdfs/ ./make.sh && ./make.sh install #编译安装 【注意事项】 　　集群的所有tracker都需要升级完成后，才能正常启动tracker服务。 来源： https://www.cnblogs.com/slyy/p/11935793.html

1.下载FastDFS1.20jar包 链接：https://pan.baidu.com/s/19D0TckDd8J6A7CqlGzk0nA 提取码：43rb 2.在下载jar包的文件目录上输入cmd，进入cmd模式 3.输入命令，安装完会自动下载到你的本地maven仓库 mvn install:install-file -Dfile=fastdfs_client_v1.20.jar -DgroupId=com.hueason -DartifactId=fastdfs_client -Dversion=1.20 -Dpackaging=jar 4.在pom.xml中就可以引入依赖使用了 <dependency> <groupId>org.csource.fastdfs</groupId> <artifactId>fastdfs</artifactId> <version>1.2</version> </dependency> 　　 来源： https://www.cnblogs.com/wmh1997/p/11332699.html