fastdfs

hdfs 架构设计 HDFS按照Master和Slave的结构。分NameNode、SecondaryNameNode、DataNode这几个角色。 NameNode：是Master节点，是管理者。1、管理数据块映射；2、处理客户端的读写请求；3、配置副本策略；4、管理HDFS的名称空间； NameNode保存的metadata包括文件ownership和permission , 文件包含的block信息 , Block保存在那些DataNode节点上（这部分数据并非保存在NameNode磁盘上的，它是在DataNode启动时上报给NameNode的，Name接收到之后将这些信息保存在内存中）, NameNode的metadata信息在NameNode启动后加载到内存中 , Metadata存储到磁盘上的文件名称为fsimage , Block的位置信息不会保存在fsimage中 , Edits文件记录了客户端操作fsimage的日志，对文件的增删改等。用户对fsimage的操作不会直接更新到fsimage中去，而是记录在edits中 SecondaryNameNode：分担namenode的工作量；是NameNode的冷备份；合并fsimage和fsedits然后再发给namenode。 部署方式和使用方法 Hdfs https://blog.csdn.net/qq

基于SOA的分布式高可用架构和微服务架构，是时下如日中天的互联网企业级系统开发架构选择方案。在核心思想上，两者都主张对系统的横向细分和扩展，按不同的业务功能模块来对系统进行分割并且使用一定的手段实现服务之间的通信，并且基于弹性云服务搭建高可用的分布式解决方案。 但它们之间的区别可能比相似的地方要多，特别是体现在对服务的使用和与云服务的深度结合上。在具体实践中，微服务的架构也可以与其它互联网中间件组合在一起，组成规模更为庞大的SOA分布式系统。本文主要对一个典型的SOA分布式应用的架构和组件做详细的说明。 企业级系统架构的演变 单体式 单体架构即所有系统功能和模块基于MVC的设计模式耦合在一个单体服务器单元中。基于传统的MVC思想，单体应用基于前后端分离的原则，通过Model、Control和View共同来完成一个特点的服务请求。这种传统的架构模式带了了多人团队合作、代码更新和维护、持续部署方面的困难，更重要的是，这种架构无法支持互联网行业对高并发的需求。下图为一个典型商城应用的单体架构及其SSM实现架构： 关于单体式应用的更多资料，可参看： JavaWeb开发之详解Servlet及Servlet容器 基于SSM的Java Web应用开发原理初探 集群 至少在高并发的需求上，单体应用的缺陷是行业所无法忍受的， 那如何提升并发性能呢？一个直接的思路是，把单体应用变成多体，变成集群

FastDFS搭建流程： 第一步：把FastDFS都上传到linux系统（fastdfs-5.09.tar.gz、fastdfs-nginx-module v1.16.tar.gz、libfastcommon-1.0.38.tar.gz） Perl安装方法： 1 http://www.perl.org/get.html perl-5.28.0.tar.gz 2 /usr/local/src perl-5.12.2.tar.gz tar zxvf perl-5.12.2.tar.gz 3 (mkdir /usr/local/perl 4 perl-5.12.2.tar.gz ./Configure -des -Dprefix=/usr/local/perl -Dusethreads -Uversiononly 5 14M perl cd /usr/bin mv perl perl.old // perl perl.old ln ls /usr/local/perl/bin/perl /usr/bin/perl perl ln -s /usr/local/perl/bin/perl /usr/bin/perl // 解压缩 ./make.sh ./makesh install 把/usr/lib64/libfastcommon.so文件向/usr/lib复制一份 第四步

开发工具 1.Eclipse IDE：采用Maven项目管理，模块化。 2.代码生成：通过界面方式简单配置，自动生成相应代码，目前包括三种生成方式（增删改查）：单表、一对多、树结构。生成后的代码如果不需要注意美观程度，生成后即可用。 技术选型（只列了一部分技术） 1、后端 服务框架：Dubbo、zookeeper、Rest服务 缓存：Redis、ehcache 消息中间件：ActiveMQ 负载均衡：Nginx 分布式文件：FastDFS 框架简介--主要定位于互联网企业架构，已内置企业信息化系统的基础功能和高效的代码生成工具，包括：系统权限组件、数据权限组件、数据字典组件、核心工具 组件、视图操作组件、工作流组件组件、代码生成等。采用分层设计、双重验证、提交数据安全编码、密码加密、访问验证、数据权限验证。平台简介 是一个分布式的框架，提供项目模块化、服务化、热插拔的思想，高度封装安全性的Java EE快速开发平台。 本身集成Dubbo服务管控、Zookeeper注册中心、Redis分布式缓存技术、FastDFS分布式文件系统、ActiveMQ异步消息中间件、Nginx负载均衡等分布式技术 使用Maven做项目管理，项目模块化，提高项目的易开发性、扩展性 以Spring Framework为核心容器，Spring MVC为模型视图控制器，MyBatis为数据访问层， Apache

FastDFS扩展模块内置了通过token来实现防盗链的功能。开启防盗链后，访问文件是需要在url中加两个参数：token和ts。ts为时间戳，token为系统根据时间戳和密码生成的信物。为了系统的安全，下面一起来开启防盗链吧！ 1. 配置http访问 1.1 开启防盗链检查 vim /etc/fdfs/http.conf # HTTP default content type http.default_content_type = application/octet-stream # MIME types mapping filename # MIME types file format: MIME_type extensions # such as: image/jpeg jpeg jpg jpe # you can use apache‘s MIME file: mime.types http.mime_types_filename=mime.types # if use token to anti-steal # default value is false (0) http.anti_steal.check_token=true # 修改1，开启防盗链检查 # token TTL (time to live), seconds # default value is 600

开发工具 1.Eclipse IDE：采用Maven项目管理，模块化。 2.代码生成：通过界面方式简单配置，自动生成相应代码，目前包括三种生成方式（增删改查）：单表、一对多、树结构。生成后的代码如果不需要注意美观程度，生成后即可用。 技术选型（只列了一部分技术） 1、后端 服务框架：Dubbo、zookeeper、Rest服务 缓存：Redis、ehcache 消息中间件：ActiveMQ 负载均衡：Nginx 分布式文件：FastDFS 框架简介--主要定位于互联网企业架构，已内置企业信息化系统的基础功能和高效的代码生成工具，包括：系统权限组件、数据权限组件、数据字典组件、核心工具 组件、视图操作组件、工作流组件组件、代码生成等。采用分层设计、双重验证、提交数据安全编码、密码加密、访问验证、数据权限验证。平台简介 是一个分布式的框架，提供项目模块化、服务化、热插拔的思想，高度封装安全性的Java EE快速开发平台。 本身集成Dubbo服务管控、Zookeeper注册中心、Redis分布式缓存技术、FastDFS分布式文件系统、ActiveMQ异步消息中间件、Nginx负载均衡等分布式技术 使用Maven做项目管理，项目模块化，提高项目的易开发性、扩展性 以Spring Framework为核心容器，Spring MVC为模型视图控制器，MyBatis为数据访问层， Apache

FastDFS如何选择tracker? 在trakcer集群中，每个tracker的地位都是平等的，因此client可以随机选择一个tracker进行连接。client会通过轮询的方式选择一个tracker，要是此tracker不能提供服务，则换下一个tracker。 FastDFS如何选择一个group？ 可以手动指定一个group 可以通过所有存储节点组轮询的方式选择一个group 可以根据剩余存储空间最多的方式选择一个group FastDFS如何选择一个storage？ 该存储节点组group内轮询选择 按ip排序 按storage存储节点设置的优先级排序，优先存储在级别高的storage FastDFS如何选择一个 Storage Path ？ 多个存储目录间轮询 剩余存储空间最多的优先。 FastDFS如何根据文件名称找到文件？ 首先通过组名可以知道文件所在的组信息，通过选择策略选择一个storage,之后通过虚拟磁盘目录和storage两级目录知道文件所在的位置，通过文件名称，即可查找到文件。 转载请标明出处: FastDFS选择策略 文章来源: FastDFS选择策略

ip fastdfs-role 192.168.1.115 Tracker +Storage 192.168.1.104 Tracker +Storage 192.168.1.106 Tracker +Storage # yum groupinstall "Development Tools" "Server platform Development" -y # git clone https://github.com/happyfish100/libfastcommon.git # cd libfastcommon/ # ./make.sh # ./make.sh install # git clone https://github.com/happyfish100/fastdfs.git # cd fastdfs/ # ./make.sh # ./make.sh install 3台机器都按这种方式安装好 # cd /etc/fdfs/ # cp tracker.conf.sample tracker.conf # vim tracker.conf base_path=/data/fdfs/tracker # mkdir -pv /data/fdfs/tracker # /etc/init.d/fdfs_trackerd start 启动服务 # cd /etc/fdfs/ #

linux发行版为：centos6.5 　　FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 　　 　　FastDFS架构包括 Tracker server和Storage server。客户端请求Tracker server进行文件上传、下载，通过Tracker server调度最终由Storage server完成文件上传和下载。 　　Tracker server作用是负载均衡和调度，通过Tracker server在文件上传时可以根据一些策略找到Storage server提供文件上传服务。可以将tracker称为追踪服务器或调度服务器。 　　Storage server作用是文件存储，客户端上传的文件最终存储在Storage服务器上，Storage server没有实现自己的文件系统而是利用操作系统 的文件系统来管理文件。可以将storage称为存储服务器。 　　如下图： 　　 　　FastDFS集群中的Tracker server可以有多台，Tracker server之间是相互平等关系同时提供服务，Tracker server不存在单点故障。客户端请求Tracker

乐优商城的其他内容放在此处。 上传图片到虚拟机，虚拟机中的nginx配置 以下是数据库中的地址 在虚拟机中的地址是leyou/static/images 我们在nginx中的配置是 server { listen 80 ; server_name image.leyou.com ; # 监听域名中带有group的，交给FastDFS模块处理 location ~/group([0-9])/ { ngx_fastdfs_module ; } #之前的图片我们去本地路径找 location / { root leyou/static ; } 我们这边有两个配置，一个是我们导入图片的路径。另一个是fastdfs的nginx模块，分别的配置都很清楚了。 转载请标明出处: 乐优商城（其他） 文章来源: 乐优商城（其他）