fastdfs

查询ngnix之前编译安装参数 /usr/local/nginx/sbin/nginx -V 进入nginx源码目录重新编译 ./configure \ --prefix=/usr/local/nginx \ --sbin-path=/usr/local/nginx/nginx \ --conf-path=/usr/local/nginx/conf/nginx.conf \ --error-log-path=/usr/local/nginx/logs/error.log \ --pid-path=/usr/local/nginx/logs/nginx.pid \ --with-http_ssl_module \ --with-openssl=/app/software/openssl-OpenSSL_1_0_2k \ --add-module=/app/software/echo-nginx-module-0.61 \ --add-module=/app/software/fastdfs-nginx-module-master/src \ --add-module=/app/software/ngx_cache_purge-2.3 openssl和echo为我新加的模块可以从开源网站下载 wget https://github.com/openssl/openssl/archive

传统文件存储问题 单机存储不了，就将数据分散存储到多台机器，并通过在软件层做封装提供统一的存储接口，使得存储服务的使用者不需要关心数据是如何存储、存储在哪里的。 以磁盘为存储介质的单机文件系统（如ext4、xfs等），文件都是以目录树结构来组织的，当文件数很多时，目录内的文件数会很多、目录层次也会变深，使得路径查找是非常影响性能的，一次路径名查找可能需要多次磁盘IO。 目前分布式文件存储系统的解决方案 TFS、FASTDFS、HDFS都是通过将数据分布到多个存储节点来解决问题 1、通过将多个文件打包存储到大文件（block）以及扁平化的目录结构来解决问题 2、通过block多副本以及按block复制的方式来解决问题。 3、block通常64MB大小，block内部存储的每个文件由一个fileid标识。 步骤一 将索引文件不持久化存储，在内存里组织为hash表；存储时将文件追加到block尾部后，将文件在block内部的offset以及文件size信息，插入到hash表中；访问该文件时，先根据文件的id在hash表中定位文件的offset和size，然后在block对应位置读取文件数据，由于hash表是全内存化的，访问文件只需一次IO。 这种方案的优点在于，每次存储文件时，只需要一次IO操作，不会出现索引与block实际文件数据不一致大情况；缺点在于，索引只存在于内存，当服务重启时

fastDFS 单机环境部署 参考资料： https://blog.csdn.net/baidu_29609961/article/details/77692770 springboot 整合fastDFS 参考资料： http://www.ityouknow.com/springboot/2018/01/16/spring-boot-fastdfs.html 来源： CSDN 作者： houjibofa2050 链接： https://blog.csdn.net/u011243684/article/details/104511018

试验环境，所以打算把跟踪器和存储器安装到同一台实例上 1、准备安装包上传到/usr/local/src FastDFS_v5.05.tar.gz （FastDFS安装包） libfastcommonV1.0.7.tar.gz （FastDFS依赖程序） nginx-1.8.0.tar.gz （nginx安装包，用于做文件请求http代理服务器） fastdfs-nginx-module_v1.16.tar.gz （nginx和fastdfs的桥梁插件模块） 2、安装C/C++ 编译环境 yum -y install gcc gcc-c++ 3、安装 libfastcommon cd /usr/local/src tar -zxf libfastcommonV1.0.7.tar.gz cd libfastcommon-1.0.7 ./make.sh ./make.sh install cp /usr/lib64/libfastcommon.so /usr/lib 4、创建数据存储目录 mkdir -p /usr/local/FastDFS/tracker /usr/local/FastDFS/storage /usr/local/FastDFS/client 5、安装FastDFS cd /usr/local/src tar -zxf FastDFS_v5.05.tar.gz cd

1.删除脚本 　　vi delete 　　#!/bin/bash 　　#删除文件 #解释 找到/FastDFDS/FastDFS 目录下 10天前修改的 名字任意 并删除 　　find /FastDFS/FastDFS -mtime +1 -name "*" -exec rm -rf {} \ ; 　　#解释 找到/FastDFDS/FastDFS 目录下 大于1M（1024Kb）的文件 并删除 　　find /FastDFS/FastDFS -type f -size +1024 -exec rm -rf {} \ ; 　 　#删除文件夹 　 find /FastDFS/FastDFS -mtime +1 -name "*" -type d -exec rm -rf {} \ ; 　　chmod +x delete 在{}和\之间必须要有空格，否则会报missing argument to `-exec' 　　如果把文件夹下面所有的文件都删了，文件夹也会同时被删除 2. 定时任务 vi /etc/crontab * * * * * root /deleteservice crond status 查看定时任务的状态 来源： https://www.cnblogs.com/jycjy/p/8566476.html

hello world 个人运维技能必备 语言： Python、Shell 系统： Linux、Windows 数据库： Mysql、Redis、MongoDB MySQL代理： Mycat、Altas、Cobar 版本管理： Git 高可用/负载均衡 LVS、Nginx、HAProxy、Keepalived 批量管理： Ansible、Saltstack 装机： Kickstart、Cobbler 容器/虚拟化： Docker、KVM、VM 持续集成： Jenkins 日志： ELK Stack 监控： Zabbix、Promentheus、Grafana、告警平台、Drools监控 分布式： Ceph、GlusterFS、FastDFS web： Nginx、Tomcat、Apache 抓包分析： Tcpdump、Wireshark 同步备份： Rsync 来源： https://www.cnblogs.com/small-wei/p/10825972.html

Linux系统上FastDFS安装与配置 1. 相关依赖配置 1.需要安装 gcc yum install gcc-c++ 2.安装libevent【FastDFS依赖libevent库】 yum -y install libevent 3.安装libfastcommon 1. 将libfastcommonV1.0.7.tar.gz拷贝至/usr/local/下 2. tar -zxvf libfastcommonV1.0.7.tar.gz 3. cd libfastcommon-1.0.7 4. ./make.sh 5. ./make.sh install #将/usr/lib64下的库文件拷贝至/usr/lib下 6. ll /usr/lib64/ 4.安装libevent 1. 将libevent-2.0.15-stable.tar.gz 拷贝至/usr/local/下 2. tar -zxvf libevent-2.0.15-stable.tar.gz 3. cd libevent-2.0.15-stable/ 4. ./configure 5. make && make install 6. ln -s /usr/local/lib/libevent-2.0.so.5 /usr/lib/libevent-2.0.so.5 2. tracker编译安装 1.将FastDFS

什么是FastDFS？ FastDFS是一个开源的分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS是一个应用级分布式文件存储服务，其采用中心型结构（类似GFS、HDFS、TFS等），主要用于大中型网站存储资源文件。FastDFS具有轻量级，支持高并发放访问，负载均衡，可扩展等优点。而FastDFS最大的亮点就是对小文件的存储性能较好，这主要来自于其文件名策略。 1.小文件存储性能优化 小文件的性能瓶颈主要来自于对元数据服务器（如FastDFS中的TrackerServer或TFS中的NameServer）的访问，因为当文件本身大小很小时，元数据存储所占空间与文件内容存储所占空间的比例就变得较大，访问元数据所消耗资源与访问文件内容所消耗资源的比例也变得较大。因此，通常对小文件存储的优化方法主要有两大类思路：一是减少访问元数据的次数，比如Cache预取；二是减少元数据所占的存储空间，比如FastDFS使用的文件名策略。 2. FastDFS文件名策略 FastDFS中的文件名是在向StorageServer存储文件时由系统指定的，文件名中包含了VolumeID和FileID。也就是说，当客户要读取某个文件时

一、FastDFS服务器端运行时目录结构 ${base_path} |__data：存放数据文件 |__logs：存放日志文件 其中，${base_path}由配置文件中的参数“base_path”设定。 1. tracker server tracker server目录及文件结构： ${base_path} ---- 网上说在这个路径下查找，但是实际上本人找不到，而是在安装tracker时创建的文件夹（/apps/fastdfs/tracker1/data）才找到 |__data | |__storage_groups[_new].dat：存储分组信息 | |__storage_servers[_new].dat：存储服务器列表 |__logs |__trackerd.log：tracker server日志文件 数据文件storage_groups.dat和storage_servers.dat中的记录之间以换行符（/n）分隔，字段之间以西文逗号（,）分隔。 storage_groups.dat中的字段依次为： group_name：组名 storage_port：storage server端口号 storage_servers.dat中记录storage server相关信息，字段依次为： group_name：所属组名 ip_addr：ip地址 status：状态

FastDFS是一款开源的轻量级分布式文件系统纯C实现，支持Linux、FreeBSD等UNIX系统类google FS，不是通用的文件系统，只能通过专有API访问，目前提供了C、Java和PHP API为互联网应用量身定做，解决大容量文件存储问题，追求高性能和高扩展性FastDFS可以看做是基于文件的key value pair存储系统，称作分布式文件存储服务更为合适 先上传压缩包到Linux服务器的opt目录下—>文件在下面链接 链接：https://pan.baidu.com/s/11he0GmolduhNR51Dx5m2XA 提取码：8dq8 Libfastcommon A解压 tar -zxvf libfastcommonV1.0.7.tar.gz b./make.sh 先进入解压目录再执行这一步 cd libfastcommon-1.0.7/ ./make.sh c./make.sh install --> ./make.sh install d用cp /usr/lib64/libfastcommon.so /usr/lib/将类库拷贝到/usr/lib下 fastdfs软件(tracker\stroage) 依赖 GCC libevent perl ## 配置tracker ## 配置stroage A新建目录mkdir /opt/fastdfs -