fastdfs

结合阿里的mysql规范 必须定义主键， 默认为Id，整型自增（禁止使用varchar类型的主键） 禁止使用外键 单表超500w或数据量超过10G考虑分表 单条记录禁止超过8K，计算公式：中文列*3（utf8）+英文列*1 索引列必须定义为not null，并设计default值 浮点型用decimal 禁止存储blob，text类型的大文本，文件，图片，使用fastdfs之类的 禁止使用：存储过程、触发器、函数、视图、事件等MySQL高级功能 禁止使用子查询，建议将子查询转换成关联查询 什么时候用char 定长的char类型不容易产生碎片，适合md5，Y/N这种。 例如用CHAR(1)来存储只有Y和N的值，只需要一个字节，但是VARCHAR(1)却需要两个字节，因为还有一个记录长度的额外字节 注意：tinyint比char(1)效率更高 占用字节 有符号范围 无符号范围 tinyint 1 -128~127 0~255 smallint 2 -32768~32767 0~ 65535 int 4 -21亿~21亿 0~42亿 bigint 8 参考： https://www.jianshu.com/p/6f4c6141b275 来源： oschina 链接： https://my.oschina.net/cectsky/blog/4321610

1.开启分布式缓存Redis，开启阿里云OSS对象存储或分布式文件系统FastDfs来单独管理文件，单机环境升级为集群环境，通过多台机器来提高请求处理的最大并发数。 安装Redis服务。 更改配置文件中的缓存类型。 #缓存类型，ehcache(默认)、redis cache: type: redis 更改配置文件中的Redis配置信息。 spring: #Redis服务器IP redis: host: 127.0.0.1 #Redis服务器连接端口 port: 6379 #Redis服务器连接密码 password: test jedis: pool: #连接池最大连接数（使用负值表示没有限制） max-active: 8 #连接池最大阻塞等待时间（使用负值表示没有限制） max-wait: 1 #连接池最大阻塞等待时间（使用负值表示没有限制） max-idle: 8 #连接池中的最小空闲连接 min-idle: 0 #连接超时时间（毫秒） timeout: 30000 开启阿里云OSS对象存储（与FastDfs开启二选一）。 pic: save: type: 2 #图片保存方式, 1不保存，使用爬取的网络图片 ，2保存在自己的存储介质 storage: OSS #存储介质，local：本地，OSS：阿里云对象存储，fastDfs：分布式文件系统 path: /var/pic

前两天跟大家分享了一篇关于如何利用FastDFS组件来自建分布式文件系统的文章，有兴趣的朋友可以阅读下《 用asp.net core结合fastdfs打造分布式文件存储系统 》。通过留言发现大家虽然感兴趣，但是都觉得部署比较麻烦。的确，fastdfs的部署很繁琐，而且也没有官方提供的针对.net core的sdk。而今天带来的MinIO则是一个比fastdfs更好的选择，可以让你足够简单的来部署使用，官方也提供了足够详细的api文档。下面就让我们开始今天的正文吧。 这里说明下为什么今天才进行分享，因为就在几个小时前官方才发布了最新的3.1.12版本的nuget包，解决了 BucketExistsAsync 的一个bug，不然你还得引用源码才能正常运行。 作者：依乐祝 原文地址： https://www.cnblogs.com/yilezhu/p/12830123.html MinIO是什么？ 官方对MinIO的介绍是：高性能，Kubernetes原生支持的对象存储系统。MinIO的高性能软件定义对象存储套件可以使用户能够为机器学习、分析和应用程序数据工作负载构建云原生支持的数据基础设施。下面是几个常用的网址 官网： https://min.io/ 开源地址： https://github.com/minio/ 中文文档： https://docs.min.io/cn/ .NET

#!/bin/bash #关闭防火墙 systemctl stop firewalld.service #安装编译环境 yum install -y git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget vim #创建数据存储目录 data_path=/data/dfs mkdir -p ${data_path} #下载包存放目录 cd /usr/local/src #安装libfatscommon git clone https://github.com/happyfish100/libfastcommon.git --depth 1 cd libfastcommon/ #编译安装 ./make.sh && ./make.sh install cd ../ #安装fastdfs git clone https://github.com/happyfish100/fastdfs.git --depth 1 cd fastdfs/ #编译安装 ./make.sh && ./make.sh install #配置文件准备 cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf cp /etc

介绍 本来做的是个图床管理的项目，结果撸成了一个工具箱，不定期追加新的功能。 基础环境 JDK1.8、Maven、Mysql、Redis、IntelliJ IDEA、minio、fastdfs 相关组件 ok-admin vue iView echarts clipboard cropperjs lightbox nprogress webuploader ztree 内置功能 组织机构：机构管理、用户管理、角色管理、行政区域。 系统监控：系统日志、在线用户，后期会慢慢追加完善。 应用管理：任务调度、邮件管理、图片管理、文章管理，每个模块只需要你稍作修改就可以打造成一个项目了。 系统管理：敏捷开发、系统菜单、全局配置，小伙伴们只需要设计好表结构，三秒中就能撸出一个增删查改的模块。 安装教程 启动前请配置 application-dev.properties 中相关 mysql 、 redis 以及非启动强依赖配置邮件、鉴黄、阿里云存储、分布式文件存储。 数据库脚本位于 src/main/resource/sql 下面，启动前请自行导入。 配置完成，运行 Application 中的 main 方法。 演示图 推荐阅读 深夜吐血训练了100万小黄图撸了一个鉴黄接口 UCloud 云服务内容鉴黄 Java 版本实现 分享一款炒鸡好用的网盘+文件服务器 SpringBoot 2.x

【nginx】【fastdfs】报错ERROR - file: /root/fastdfs-nginx-module/src//common.c, line: 728，页面400错误 通过nginx日志查看，发现目录不对 ERROR - file: /home/usr/local/fastdfs-nginx-module-1.20/src//common.c, line: 1093, file: /home/data/fastdfs/data/00/00/wKjL4V648JqALkeeAAAqA5H_SjE122.png not exist 　　 目录应该是：/home/data/fastdfs/storage，而不是:/home/data/fastdfs/ 于是修改了 /etc/fdfs目录下的:client.conf， storage.conf store_path0=/home/data/fastdfs/storage 　　 另外，还需要将/etc/fdfs/http.conf 中的验证关闭，true改为false 检查防盗链系统 vi /etc/fdfs/http.conf http.anti_steal.check_token=false 　　 来源： oschina 链接： https://my.oschina.net/u/4263556/blog/4275835

SpringBoot2.x使用EasyPOI导入Excel浅谈 平时经常遇到客户要帮忙导入一些数据到数据库中，有些数据比较多有时候手动录入就会很耗时间，所以就自己写一个Excel导入的demo记录一下我对EasyPOI的误区；本文使用 SpringBoot2.0 , EasyPOI 开发框架 框架：SpringBoot2.0 java jdk 1.8 开发工具：Eclipse 数据库：Orcal 一.首先在pom.xml中导入EasyPOI的架包 pom.xml的主要文件信息如下： <!-- easypoi --> <dependency> <groupId>cn.afterturn </groupId> <artifactId>easypoi-base </artifactId> <version>3.0.3 </version> </dependency> <dependency> <groupId>cn.afterturn </groupId> <artifactId>easypoi-web </artifactId> <version>3.0.3 </version> </dependency> <dependency> <groupId>cn.afterturn </groupId> <artifactId>easypoi-annotation </artifactId>

我不会在这里贴代码和详细步骤什么的，我觉得就算我把它贴出来，你们照着步骤做还是会出很多问题，我推荐你们去看一下黑马的这个视频，我个人感觉很不错，一步一步走下来可以学到很多东西。另外，视频和相关文档的话，关注微信公众号 “Java面试通关手册” 回复 “资源分享第一波” 即可领取. 本节内容具体可参考黑马该项目第四天的教案 ，教案以及相关文档和资料都在分享的网盘里面，下载解压即可。 第三天学到的内容 1、FastDFS 实现图片服务器的时候用到了FastDFS,所以这里总结一下。 1.1 什么是FastDFS？ Github地址： https://github.com/happyfish100/fastdfs FastDFS是用c语言编写的一款开源的 分布式文件系统 。FastDFS为互联网量身定制，充分考虑了 冗余备份 、 负载均衡 、 线性扩容 等机制，并注 重高可用 、 高性能 等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 1.2 FastDFS架构 FastDFS架构包括 Tracker server 和 Storage server 。 客户端请求Tracker server进行文件上传、下载，通过Tracker server调度最终由Storage server完成文件上传和下载。 Tracker

因为fastdfs-client-java-1.27-SNAPSHOT.jar这个依赖包在maven中央仓库是没有的， 需要自己编译源码成jar本地安装到maven 的本地仓库，安装完以后就能正常引用了（注意：本地必须安装了Maven，并配置好Maven环境变量） <dependency> <groupId>org.csource</groupId> <artifactId>fastdfs-client-java</artifactId> <version>1.27-SNAPSHOT</version> </dependency> 1.下载fastdfs-client-java开发工具包 https://github.com/happyfish100/fastdfs-client-java 2.需要把fastdfs-client-java开发工具包打包到本地的Maven仓库 　　2.1解压fastdfs-client-java-master 　　2.2进入fastdfs-client-java目录，在此处打开命令窗口 cmd 　　 　　2.3输入 mvn clean install 　　 3.构建一小会，如出现以下。则成功把fastdfs-client-java打包到本地的Maven仓库 　　 　　 至此，更新项目Maven，pom.xml文件就不会出现找不到fastdfs

分布式文件系统 (Distributed File System) 是一个用来管理文件的软件或软件服务器，但这个软件所管理的文件通常不是在一个服务器节点上，而是在多个服务器节点上，这些服务器节点通过网络相连构成一个庞大的文件存储服务器集群，这些服务器都用于存储文件资源，通过分布式文件系统来管理这些服务器上的文件； 常见的分布式文件系统有：FastDFS、GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS等； FastDFS是一个开源的轻量级分布式文件系统，为互联网应用量身定做，简单、灵活、高效，采用C语言开发，由阿里巴巴开发并开源； FastDFS对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载、文件删除）等，解决了大容量文件存储的问题，特别适合以文件为载体的在线服务，如相册网站、文档网站、图片网站等等； FastDFS充分考虑了冗余备份、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务； FastDFS发展历史 2008年4月项目启动，7月发布第一个版本V1.00，两年时间内持续升级到V1.29； 2010年8月推出V2.00； 2011年6月推出V3.00； 2012年10月推出V4.0.0； 2013年12月推出V5.0.0；