nginx集群

一、简介 FastDFS是一个开源的轻量级 分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 FastDFS服务端有两个角色：跟踪器（tracker）和存储 节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。 存储节点存储文件，完成文件管理的所有功能：就是这样的存储、同步和提供存取接口，FastDFS同时对文件的metadata进行管理。所谓文件的meta data就是文件的相关属性，以键值对（key value）方式表示，如：width=1024，其中的key为width，value为1024。文件metadata是 文件属性列表，可以包含多个键值对。 跟踪器和存储节点都可以由一台或多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。 为了支持大容量，存储 节点（服务器）采用了分卷（或分组）的组织方式。 存储系统由一个或多个卷组成

负载均衡 的实现，常见的硬件有比较昂贵的NetScaler、F5、 Radware 和Array等商用的 负载均衡器 ，它的优点就是有专业的维护团队来对这些服务进行维护、缺点就是花销太大，所以对于规模较小的网络服务来说暂时还没有需要使用；另外一种就是类似于LVS/ HAProxy 、 Nginx 的基于 Linux 的开源免费的负载均衡软件策略,这些都是通过软件级别来实现，所以费用非常低廉，所以我个也比较推荐大家采用第二种方案来实施自己网站的负载均衡需求。 LVS： 使用 集群技术 和 Linux操作系统 实现一个高性能、高可用的服务器，它具有很好的可伸缩性（Scalability)、可靠性（Reliability)和可管理性（Manageability)，感谢 章文嵩 博士为我们提供如此强大实用的开源软件。 LVS的特点是： 1、抗负载能力强、是工作在网络4层之上仅作分发之用，没有流量的产生，这个特点也决定了它在负载均衡软件里的性能最强的； 2、配置性比较低，这是一个缺点也是一个优点，因为没有可太多配置的东西，所以并不需要太多接触，大大减少了人为出错的几率； 3、工作稳定，自身有完整的双机热备方案，如LVS+Keepalived和LVS+Heartbeat，不过我们在项目实施中用得最多的还是LVS/DR+Keepalived； 4、无流量

现在网络中常见的的负载均衡主要分为两种：一种是通过 硬件 来进行进行，常见的硬件有比较昂贵的NetScaler、F5、Radware和Array等商用的负载均衡器，也有类似于LVS、Nginx、HAproxy的基于 Linux 的开源的负载均衡策略,商用负载均衡里面NetScaler从效果上比F5的效率上更高。对于负载均衡器来说，不过商用负载均衡由于可以建立在四~七层协议之上，因此适用面更广所以有其不可替代性，他的优点就是有 专业 的维护团队来对这些服务进行维护、缺点就是花销太大，所以对于规模较小的网络服务来说暂时还没有需要使用。 另一种负载均衡的方式是通过 软件 ：比较常见的有LVS、Nginx、HAproxy等，其中LVS是建立在四层协议上面的，而另外Nginx和HAproxy是建立在七层协议之上的，下面分别介绍关于 LVS：使用集群 技术 和Linux 操作系统 实现一个高性能、高可用的 服务器 ，它具有很好的可伸缩性（Scalability）、可靠性（Reliability）和可管理性（Manageability）。 LVS的特点是 ： 1、抗负载能力强、是工作在网络4层之上仅作分发之用，没有流量的产生； 2、 配置 性比较低，这是一个缺点也是一个优点，因为没有可太多配置的东西，所以并不需要太多接触，大大减少了人为出错的几率； 3、工作稳定，自身有完整的双机热备 方案 ；

一、环境准备 k8s集群环境（我这里是三台的K8s集群）； 单独一台docker服务器，主要用于向私有仓库上传镜像，Jenkins和gitlab也部署在这台服务器； 上述环境共计服务器4台，均指向同一个私有仓库，以便共享docker镜像； 服务器IP依次为192.168.20.2、20.3、20.4、20.5（前三个IP为K8s集群中的节点） Jenkins采用war包的方式部署，需要用到tomcat环境，自行参考博文，进行部署； 其他环境部署可以参考以下博文： Tomcat安装及优化配置 ； Docker的安装详细配置 ； K8s（Kubernetes）简介及安装部署 。 注：以下用到的所有包文件，都可以从我的网盘链接中 下载 。 二、部署registry私有仓库 任意可以运行docker容器的节点部署即可。这里我选择在192.168.20.5这台主机。 1、运行私有仓库容器 [root@jenkins ~]# docker run -tid --name registry --restart=always -p 5000:5000 -v /data/registry:/var/lib/registry registry 2、配置各个服务器指向私有仓库 #选择任意一个节点进行以下操作 [root@jenkins ~]# vim /usr/lib/systemd/system

http://9iu.org/2011/11/25/tomcat-memcached-session-sso.html 把 tomcat 的 session 存放在 memcached 的集中式缓存中 , 能够很好解决 tomcat 的集群负载 , 不用使用笨重的 session 复制 , 也能轻松解决 session 数据的同步 把所有的 jar 文件复制到 tomcat/lib 下 把 context.xml 复制到 tomcat/conf 下 , 注意修改 memcached 的连接 后台的 session 是共享的 , 如果前台的 JSESSIONID 也是共享的 , 不就可以实现统一登录了吗 ? 在同一域名下 例如 test1.abc.com 和 test2.abc.com 浏览器是允许共享 cookie 的 , 只需要把 JSESSIONID 的作用域设定为 abc.com 就可以了 修改 tomcat org.apache.catalina.connector.Request.java protected void configureSessionCookie(Cookie cookie) 这个方法 设置 cookie 作用域为主域名 , 例如 abc.com tomcat 6.0.32 和 tomcat6.0.33 的 Request 是不同的

1、配置： （1）需要两台nginx服务器 （2）需要keepalived （3）需要虚拟ip 2、配置高可用的准备工作 （1）需要两台服务器192.168.180.113和192.168.180.112 （2）在两台服务器安装nginx （3）在两台服务器安装keepalived 3、在两台服务器安装keepalived （1）使用yum命令进行安装 （2）安装之后，在etc里面生成目录keepalived，有文件keepalived.conf [root@topcheer dev]# yum install keepalived -y 已加载插件：fastestmirror, langpacks Loading mirror speeds from cached hostfile * base: mirrors.cn99.com * epel: ftp.riken.jp * extras: mirrors.cn99.com * updates: mirror.lzu.edu.cn gitlab_gitlab-ce/x86_64/signature | 836 B 00:00:00 gitlab_gitlab-ce/x86_64/signature | 1.0 kB 00:00:00 !!! gitlab_gitlab-ce-source/signature | 836 B 00

nginx 安装 下载必要组件 nginx下载地址 http://nginx.org/en/download.html pcre库下载地址，nginx需要 http://sourceforge.net/projects/pcre/files/pcre/ zlib下载地址，nginx需要 http://www.zlib.net/ openssl下载地址，nginx需要 https://github.com/openssl/openssl 在同级目录下,解压安装zlib、openssl、pcre 进入nginx目录，进行配置安装 ./configure \ --prefix=/usr/local/nginx \ --with-http_ssl_module \ --with-http_flv_module \ --with-http_stub_status_module \ --with-http_gzip_static_module \ --with-pcre=../pcre-8.39 \ --with-zlib=../zlib-1.2.8 \ --with-openssl=../openssl-master 下面可直接复制粘贴 ./configure --prefix=/usr/local/nginx --with-http_ssl_module --with-http_flv

Keepalived高可用服务 避免负载均衡服务出现单点问题 高可用服务原理 Keepalived的工作原理： Keepalived高可用对之间是通过VRRP通信的，因此，我从 VRRP开始了解起： 1) VRRP,全称 Virtual Router Redundancy Protocol,中文名为虚拟路由冗余协议，VRRP的出现是为了解决静态路由的单点故障。 2) VRRP是通过一种竟选协议机制来将路由任务交给某台 VRRP路由器的。 3) VRRP用 IP多播的方式（默认多播地址（224.0.0.18))实现高可用对之间通信。 4)工作时主节点发包，备节点接包，当备节点接收不到主节点发的数据包的时候，就启动接管程序接管主节点的开源。备节点可以有多个，通过优先级竞选，但一般Keepalived系统运维工作中都是一对。 5) VRRP使用了加密协议加密数据，但Keepalived官方目前还是推荐用明文的方式配置认证类型和密码。 介绍完 VRRP,接下来我再介绍一下 Keepalived服务的工作原理： Keepalived高可用之间是通过 VRRP进行通信的， VRRP是通过竞选机制来确定主备的，主的优先级高于备，因此，工作时主会优先获得所有的资源，备节点处于等待状态，当主挂了的时候，备节点就会接管主节点的资源，然后顶替主节点对外提供服务。 在 Keepalived服务对之间

负载均衡 负载均衡（反向代理）概念 什么是集群？ 完成相同任务或者工作的一组服务器（web01 web02 web03 --- web集群） Nginx代理服务基本概述 1.代理一词往往并不陌生, 该服务我们常常用到如(代理理财、代理租房、代理收货等等)，如下图所示 2.在没有代理模式的情况下，客户端和 Nginx 服务端，都是客户端直接请求服务端，服务端直接响应客户端。 3.那么在互联网请求里面, 客户端往往无法直接向服务端发起请求, 那么就需要用到代理服务, 来实现客户端和服务通信，如下图所示 什么是代理？ 反向代理：外网 → (外网网卡)代理服务器(内网网卡) → 公司网站服务器web（内网） 正向代理：内网(局域网主机) → (内网网卡)代理服务器(外网网卡) → 互联网 → web服务器(国外) Nginx代理服务支持的协议 1.Nginx 作为代理服务，可支持的代理协议非常的多，具体如下图 2.如果将 Nginx 作为反向代理服务，常常会用到如下几种代理协议，如下图所示 3.反向代理模式与 Nginx 代理模块总结如表格 反向代里模式 Nginx配置模块 http、websocket、https ngx_http_proxy_module fastcgi ngx_http_fastcgi_module uwsgi ngx_http_uwsgi_module grpc

高并发技术 第一章 预备知识 一 理解大数据 二 网工基础知识 OSI七层参考模型 应用层 表示层 会话层 传输层 网络层 链路层 物理层 功能分层 总结 第二章 LVS技术 一 LVS介绍 二 LVS调度算法 LVS命令 监控多个端口号 管理服务集群中的Real Serever(RS) 三. LVS-DR实现 LVS-DR实验拓扑图 实现步骤 第三章 Keepalived 一 高可用 High Available 二 模拟实验配置 第四章 Nginx和 Tengine 一 介绍 二 Nginx和apache(httpd)的优缺点 三 安装Tengine并制作Nginx脚本 四 配置文件nginx.conf 配置文件解读 技术延伸 利用Nginx配置虚拟Server 利用Nginx对服务器做反向代理 利用Nginx做反向代理负载均衡 利用Nginx 对指定域名(百度)进行代理 小技巧 :利用 !命令的前几个字符匹配命令并执行 nginx如何识别我们的域名 利用Nginx的access.log监听用户的浏览信息 拓展: 指定 access.log 日志输出格式 五 session一致性问题的解决 情景模拟 解决方案——安装memcached 时间一致性的另一种解决方案(安装ntpdate服务) 第一章 预备知识 一 理解大数据 我国是人口大国同时也是数据大国, 由数据的量(数以亿计