fastdfs

FastDFS 集群部署

生来就可爱ヽ(ⅴ<●) 提交于 2020-03-05 12:22:07
服务器规划: VIP :10.100.139.129 跟踪服务器 1 【主机】( Tracker Server ): 10.100.139.121 跟踪服务器 2 【 备 机】( Tracker Server ): 10.100.138.180 存储服务器 1 ( Storage Server ): 10.100.139.121 存储服务器 2 ( Storage Server ): 10.100.138.180 存储服务器 3 ( Storage Server ): 10.100.138.153 操作系统: CentOS7 用户: root 数据存储目录: 应用 安装目录 Nginx /opt/nginx Fastdfs /usr/bin Keepalived /usr/local 安装包 /home/yxgly/resources è /usr/local/src Tracker_data /fastdfs/tracker Storage_data /fastdfs/storage 安装包: FastDFS_v5.08.tar.gz : FastDFS 源码 libfastcommon-master.zip :(从 FastDFS 和 FastDHT 中提取出来的公共 C 函数库) fastdfs-nginx-module-master.zip : storage 节点

FastDFS图片服务器简述

情到浓时终转凉″ 提交于 2020-03-04 11:49:07
FastDFS:是由C语言编写,轻量级开源的分布式文件系统,在跨境通等B2C商城的项目之中作为图片服务器使用,用来存储商家的Logo,商品的图片等图片资源,github地址: https://github.com/happyfish100/fastdfs FastDFS中有三个角色.Tracker Storage Client.见名知意 Tracker : 翻译过来是追踪者,本身并不是作为存储的角色,而是作为调度者的角色而存在的,也有负载均衡的理念在里面.Tracker管理所有的Storage和Group. Storage : Storage是存储的角色,每个Storage启动时会连接Tracker告知自身所属的Group并且报纸周期心跳Tracker则以此来建立Group到Storage的映射信息.同一个Group中的Storage中内容相同,互为备份.Group中Storage的容量以当前组中最小的为准,所以配置的时候要注意最好是设置成相同的大小,避免空间浪费. Client : 这个就不都说了,一看名字就知道是客户端.和Redis之类的中间件一样都需要一个客户端来访问. 说了那么多 画一下FastDFS的架构图吧. 如图所示Client访问Tracker,请求对应的文件地址,Tracker中包含了Storage所属的分组信息

FastDfs简单理解

风格不统一 提交于 2020-03-03 12:07:23
注:文中大部分素材为网络取材,文字叙述大部分为个人学习和搭建经验所理解,如有误,请谅解辛苦指出。 一. FastDfs简介 FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。 FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 以下简称为fds。 二.fds的工作原理 1. fds的组成角色 Tracker:跟踪协调器,负责服务调度,访问负载均衡的作用; Storage:存储节点,存储数据、同步、提供存取接口等。 下图为Client、Storage、Tracker的关系情况: 2. fds文件上传原理 Client(用户端)发送文件 上传 请求给Tracker, Tracker询问可用的Storage,然后返回给Client(用户端)可用Storage的地址,Client(用户端)调用Storage文件上传接口,进行文件上传, Storage完成文件的存储后,返回文件存储信息,此时文件上传工作完成。 3. fds文件下载原理 Client(用户端)发送文件 下载 链接请求给Tracker, Tracker根据链接询问可用的Storage

云服务器分布式配置过程

只谈情不闲聊 提交于 2020-03-03 12:02:10
服务器两次被入侵,导致我一切推倒重来,在重新配置的过程,总结下安装经验 如果需要安装包,可以留言,这次重新安装配置后都有存下来 数据库的配置 tomcat及JDK的配置 zookeeper的配置及dubbo可视化界面(未更新) fastDfs分布式文件系统服务器(用于上传配置) 在Storage上安装nginx配置图片服务虚拟主机(用于下载) redis缓存服务器安装及jedis集成使用(未更新) solr搜索应用服务器安装配置及集成使用(未更新) 来源: CSDN 作者: 陈晨* 链接: https://blog.csdn.net/weixin_41998993/article/details/104626212

分布式系统架构的基本原则和实践概述

萝らか妹 提交于 2020-03-02 15:30:33
一、分布式系统遵循几个基本原则 1. CAP原理 CAP Theorem,CAP原理中,有三个要素: 一致性(Consistency) 可用性(Availability) 分区容忍性(Partition tolerance) CAP原理指的是,在分布式系统中这三个要素最多只能同时实现两点,不可能三者兼顾。因此在进行分布式架构设计时,必须做出取舍。而对于分布式数据系统,分区容忍性是基本要求,否则就失去了价值。因此设计分布式数据系统,就是在一致性和可用性之间取一个平衡。对于大多数web应用,其实并不需要强一致性,因此牺牲一致性而换取高可用性,是目前多数分布式数据库产品的方向。 从客户端角度,多进程并发访问时,更新过的数据在不同进程如何获取的不同策略,决定了不同的一致性。对于关系型数据库,要求更新过的数据能被后续的访问都能看到,这是 强一致性 。如果能容忍后续的部分或者全部访问不到,则是 弱一致性 。如果经过一段时间后要求能访问到更新后的数据,则是 最终一致性 。 但web应用也有例外,比如支付宝系统,就要求数据(银行账户)的强一致性,而且面对大量淘宝用户,可用性要求很高,因此只能牺牲数据的分区冗余。这一点也曾在和支付宝工程师交流时,得到验证。 2. C10K问题 分布式系统另一个理论是C10K问题,即系统的并发用户增加1万(customer ten thousand

com.github.tobato.fastdfs.exception.FdfsConnectException: 无法获取服务端连接资源

依然范特西╮ 提交于 2020-03-02 12:18:47
com.github.tobato.fastdfs.exception.FdfsConnectException: 无法获取服务端连接资源:can’t create connection to/192.168.1.105:22122。 (1)防火墙的问题 要关闭虚拟机的 防火墙 (2)配置 fastdfs 的 ip 地址,应该填写自己虚拟机的 ip 地址,所以出错了 来源: CSDN 作者: HuToolS 链接: https://blog.csdn.net/weixin_44785167/article/details/104606360

FastDFS(三)fastdfs-springboot

此生再无相见时 提交于 2020-03-01 17:43:29
1、创建SpringBoot项目 项目名fastdfs-springboot githun地址: 导入 fastdfs-client 依赖,记得导入web依赖 <dependency> <groupId>com . github . tobato< / groupId> <artifactId>fastdfs - client< / artifactId> <version>1 . 26 . 7< / version> < / dependency> 修改application.yml IP地址记得修改为自己的。 fdfs: so - timeout: 2500 # 读取时间 connect - timeout: 600 # 连接超时时间 thumb - image: # 缩略图 width: 100 height: 100 tracker - list: # tracker服务配置地址列表 - 192 . 168 . 202 . 128:22122 upload: base - url: http: / / 192 . 168 . 202 . 128 / #配置允许的文件的类型 allow - types: - image / jpeg - image / png - image / bmp 注: 服务器地址,记得修改 查看文件的类型, Mini Type参考手册 https:/

FastDFS单机搭建

那年仲夏 提交于 2020-03-01 16:50:12
简介 FastDFS 是一个开源的高性能分布式文件系统(DFS)。 FastDFS 系统有三个角色:跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。   Tracker Server:跟踪服务器,主要做调度工作,起到均衡的作用;负责管理所有的 storage server和 group,每个 storage 在启动后会连接 Tracker,告知自己所属 group 等信息,并保持周期性心跳。   Storage Server:存储服务器,主要提供容量和备份服务;以 group 为单位,每个 group 内可以有多台 storage server,数据互为备份。   Client:客户端,上传下载数据的服务器,也就是我们自己的项目所部署在的服务器。 安装 环境准备 编译源码需要gcc gcc-c++ perl,软件包解压需要unzip yum -y install gcc gcc-c++ perl unzip 提前下载好需要的软件包(统一下载在/usr/local/src目录) 下载libfastcommon环境包: wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz 下载FastDFS包: wget https:/

FastDFS集群

断了今生、忘了曾经 提交于 2020-03-01 16:41:56
部署相同内容的Linux机器再搭建一遍,需要修改几个配置文件即可。 1.Storage集群的配置 修改本机器上storage.conf和mod_fastdfs.conf,将tracker指向同一个192.168.244.8:22122 启动本机storage服务并重启nginx即可: systemctl start fdfs_storaged /usr/local/nginx/sbin/nginx -s reload 2.Tracker集群的配置 修改所有机器上的storage.conf和mod_fastdfs.conf,将其tracker配置成两台机器:192.168.244.8和192.168.244.9 重启所有机器上的storage和其上的nginx服务 systemctl start fdfs_storaged systemctl stop fdfs_storaged /usr/local/nginx/sbin/nginx -s reload 来源: 51CTO 作者: 974297362 链接: https://blog.51cto.com/6324115/2474309

FastDFS +Nginx实现动态缩略

不想你离开。 提交于 2020-02-28 03:41:32
一、FastDFS是什么? FastDFS是一款开源的轻量级分布式文件系统纯C实现,支持Linux、FreeBSD等UNIX系统类google FS,不是通用的文件系统,只能通过专有API访问,目前提供了C、Java和PHP API为互联网应用量身定做,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量文件存储问题,追求高性能和高扩展性FastDFS可以看做是基于文件的key value pair存储系统,称作分布式文件存储服务更为合适。 特别适合以文件为载体的在线服务,如相册网站、视频网站等等。 FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。 存储节点存储文件,完成文件管理的所有功能:存储、同步和提供存取接口,FastDFS同时对文件的meta data进行管理。所谓文件的meta data就是文件的相关属性,以键值对(key value pair)方式表示,如:width=1024,其中的key为width,value为1024。文件meta data是文件属性列表,可以包含多个键值对。 二、相关术语释义: tracker-server: 跟踪服务器, 主要做调度工作, 起负载均衡的作用。 在内存中记录集群中所有存储组和存储服务器的状态信息,