fastdfs

elasticsearch /home/panfeng 包含了 elasticsearch 和 ik分词器 FastDFS https://www.cnblogs.com/taopanfeng/p/11133018.html /panfeng/tracker 包含 FastDFS启动 tracker 的位置 /panfeng/storage 包含 FastDFS启动 storage的位置 /usr/local/panfeng 包含了 FastDFS 的四个安装文件 images 商城手机图片 /panfeng/static 存放了images 商城图片 nginx /usr/local/panfeng/nginx-1.10.1 安装位置 /opt/nginx/conf/nginx.conf 配置文件 来源： https://www.cnblogs.com/taopanfeng/p/11684952.html

Google学术论文，这是众多分布式文件系统的起源 ================================== Google File System（大规模分散文件系统） MapReduce （大规模分散FrameWork） BigTable（大规模分散数据库） Chubby（分散锁服务） 一般你搜索Google_三大论文中文版(Bigtable、 GFS、 Google MapReduce)就有了。 做个中文版下载源：http://dl.iteye.com/topics/download/38db9a29-3e17-3dce-bc93-df9286081126 做个原版地址链接： http://labs.google.com/papers/gfs.html http://labs.google.com/papers/bigtable.html http://labs.google.com/papers/mapreduce.html GFS（Google File System） -------------------------------------- Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。。尽管Google公布了该系统的一些技术细节，但Google并没有将该系统的软件部分作为开源软件发布。 下面分布式文件系统都是类

常见的 分布式文件系统 有， GFS 、 HDFS 、 Lustre 、 Ceph 、 GridFS 、 mogileFS 、 TFS 、 FastDFS 等。各自适用于不同的领域。它们都不是系统级的 分布式 文件系统，而是应用级的分布式文件存 储服务。 Google 学术论文，这是众多分布式文件系统的起源 ================================== Google File System（大规模分散文件系统） MapReduce （大规模分散FrameWork） BigTable （大规模分散数据库） Chubby（分散锁服务） 一般你搜索Google_三大论文中文版( Bigtable 、 GFS、 Google MapReduce)就有了。 做个中文版下载源：http://dl.iteye.com/topics/download/38db9a29-3e17-3dce-bc93-df9286081126 做个原版地址链接： http://labs.google.com/papers/gfs.html http://labs.google.com/papers/bigtable.html http://labs.google.com/papers/mapreduce.html GFS（Google File System） ----------------

一、FastDFS简介 FastDFS(最新版本v3.04)是一个开源的轻量级分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问，不支持POSIX接口方式，不能mount使用，不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。 二、FastDFS用途 1）FastDFS主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡。 2）FastDFS实现了软件方式的RAID，可以使用廉价的IDE硬盘进行存储 ，支持存储服务器在线扩容。 3）FastDFS特别适合大中型网站使用，用来存储资源文件（如：图片、文档、音频、视频等等。 三、FastDFS原理 存储节点采用了分组（group）的方式。存储系统由一个或多个group组成，group与group之间的文件是相互独立的，所有group的文件容量累加就是整个存储系统中的文件容量。一个group可以由一台或多台存储服务器组成，一个group下的存储服务器中的文件都是相同的，group中的多台存储服务器起到了冗余备份和负载均衡的作用（一个组的存储容量为该组内存储服务器容量最小的那个，不同组的Storage server之间不会相互通信，同组内的Storage server之间会相互连接进行文件同步）。 在group中增加服务器时

fastdfs使用总结 说明：这篇博客是为了记录我在安装和使用FastDFS分布式文件系统时遇到的问题和解决方法，至于安装和部署的方法网上有很多在此不再赘述。我也会分享一个很好的安装教程--http://pan.baidu.com/s/1kVqPkof FastDFS介绍 　　FastDFS是一个开源的轻量级 分布式文件系统 ，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。 遇到问题一、storage server一直处于wait_sync状态 　　安装配置好storage和tracker后，使用 /usr/bin/fdfs_monitor /etc/fdfs/storage.conf 命令来查看集群信息。如下图 　　 　　如果配置成功storage就会是ACTIVE的状态，如果不是ACTIVE状态说明安装配置有问题。 　　如果遇到storage状态是WAIT_SYNC状态就把storage从集群中删除，然后在重新启动storage服务 　　 　　#关闭storage服务　　/usr/init.d/fdfs_storage stop　　#删除180.xx.xxx.8这台服务器上的storage 　　/usr/bin/fdfs_monitor /etc/fdfs/client.conf delete group1

基于SOA的分布式高可用架构和微服务架构，是时下如日中天的互联网企业级系统开发架构选择方案。在核心思想上，两者都主张对系统的横向细分和扩展，按不同的业务功能模块来对系统进行分割并且使用一定的手段实现服务之间的通信，并且基于弹性云服务搭建高可用的分布式解决方案。 但它们之间的区别可能比相似的地方要多，特别是体现在对服务的使用和与云服务的深度结合上。在具体实践中，微服务的架构也可以与其它互联网中间件组合在一起，组成规模更为庞大的SOA分布式系统。本文主要对一个典型的SOA分布式应用的架构和组件做详细的说明。 企业级系统架构的演变 单体式 单体架构即所有系统功能和模块基于MVC的设计模式耦合在一个单体服务器单元中。基于传统的MVC思想，单体应用基于前后端分离的原则，通过Model、Control和View共同来完成一个特点的服务请求。这种传统的架构模式带了了多人团队合作、代码更新和维护、持续部署方面的困难，更重要的是，这种架构无法支持互联网行业对高并发的需求。下图为一个典型商城应用的单体架构及其SSM实现架构： 关于单体式应用的更多资料，可参看： JavaWeb开发之详解Servlet及Servlet容器 基于SSM的Java Web应用开发原理初探 集群 至少在高并发的需求上，单体应用的缺陷是行业所无法忍受的， 那如何提升并发性能呢？一个直接的思路是，把单体应用变成多体，变成集群

面试题：你印象最深刻的两个bug是什么，你是怎么解决的？ 在面试的时候，很多时候面试官都会问你这个问题，如果你没有准备或者最近没有在做项目的话，你短时间是很难想起你遇到的bug的。毕竟在做项目的时候遇到的问题会有很多，有些bug可能会卡你两天，或者更久。但是如果你不做记录，你过段时间就会把整个印象深刻的bug给想出来。想不出来，你这道面试题就会答得不好，这多少是会影响你的面试成绩的。最近我面试的时候就遇到这样一个问题，当时我想了很久都没想出来，后面答得自然也不是很好，回答的比较宽泛和笼统。所以我就写了这篇博客来记录一下我回想起来的一些bug。 1、http响应码403问题 当时这个问题卡了有点久，403错误就是浏览器禁止你跨域访问。为了解决这个问题，我在网上查了很多资料，而且得到了很多解决方案，主要的解决方案可以归为三种，分别为jsonp，nginx和cors。 Jsonp 最早的解决方案，利用script标签可以跨域的原理实现。 限制： 需要服务的支持 只能发起GET请求 nginx反向代理 思路是：利用nginx把跨域反向代理为不跨域，支持各种请求方式 缺点：需要在nginx进行额外配置，语义不清晰 CORS 规范化的跨域请求解决方案，安全可靠。 优势： 在服务端进行控制是否允许跨域，可自定义规则 支持各种请求方式 缺点： 会产生额外的请求 我们这里会采用cors的跨域方案。

1，从仓库拉取镜像 sudo docker image pull delron/fastdfs 　也可以解压已经打包好的镜像文件 $ sudo docker load -i 文件路径/fastdfs_docker.tar 2，开启tracker容器 　　将tracker运行目录映射到宿主机的/var/fdfs/tracker目录中 sudo docker run -dit --name=tracker --network=host -v /var/fdfs/tracker:/var/fdfs delron/fastdfs tracker delron/fastdfs 为镜像，可用sudo docker image ls 查看3，开启storage 容器 sudo docker run -dit --name=storage --network=host -e TRACKER_SERVER=192.168.174.168：22122 -v /var/fdfs/storage:/var/fdfs delron/fastdfs storage 4，查看宿主机的映射路径 5，DFS服务端配置好以后，进入Django项目进行配置服务端 　　1，在环境中安装下面三个模块，第一个是已经下载好的模块， 6，项目配置 cilent.config 配置文件内容如下，创建client.conf文件后

FastDFS FastDFS的作者余庆在其 GitHub 上是这样描述的：“FastDFS is an open source high performance distributed file system. It's major functions include: file storing, file syncing and file accessing (file uploading and file downloading), and it can resolve the high capacity and load balancing problem. FastDFS should meet the requirement of the website whose service based on files such as photo sharing site and video sharing site” ，意思说，FastDFS是一个开源的高性能分布式文件系统。其主要功能包括：文件存储、文件同步和文件访问（文件上传和文件下载），它可以解决高容量和负载平衡问题。FastDFS应满足基于照片共享站点和视频共享站点等文件的网站的服务要求。 FastDFS 有两个角色：跟踪器（Tracker）和存储器（Storage）。 Tracker 负责文件访问的调度和负载平衡。

1. 推荐一个开源的FastDFS客户端，支持最新的SpringBoot2.0。配置使用极为简单，支持连接池，支持自动生成缩略图 　　1.1 在文件上传的微服务中 引入依赖 <dependency> <groupId>com.github.tobato</groupId> <artifactId>fastdfs-client</artifactId> <version>1.26.2</version> </dependency> 　　 　　1.2引入配置启动类 @Configuration @Import(FdfsClientConfig.class) // 解决jmx重复注册bean的问题 @EnableMBeanExport(registration = RegistrationPolicy.IGNORE_EXISTING) public class FastClientImporter { } 　　 　　1.3配置Fast的属性 fdfs: so-timeout: 1501 connect-timeout: 601 thumb-image: # 缩略图 width: 60 height: 60 tracker-list: # tracker地址 - 192.168.56.101:22122 　　 　　1.4测试（测试的包名要和java中的包名一致哦） @RunWith