集群服务器

本文将总结一次为Ceph集群加装万兆内网（cluster network），后因需要对比实验来研究分布式存储集群在计算，网络，存储过程中各部分耗时比例，而将Ceph整体系统又整体搬移至万兆网的过程。但由于原始集群环境上还有其他不同的业务，为了不影响其他任务工作，本文确保以前的环境，配置，设备等不变，所以在整个过程中也是采坑不少！ Ceph仅做内外网分离将内网设为万兆，整体系统提升效果不是很大，但生产环境下都这么做，最后为了测试将ceph都挂在新的万兆网下，但还是需要保证ceph集群与其他节点在原千兆网环境下可以互联互通。 原环境： 1. 纯电口千兆交换机 2. 内部局域网192.168.1.0/24，所有服务器通过一节点做转发连接外网。 3. 24台服务器，每个只有一块千兆网卡（双口），通过节点1（192.168.1.1）转发至外网。 4. 其中节点7，8，9配置为Ceph存储节点，节点6配置为Ceph Monitor节点。 5. 所有Ceph组件都配置在192.168.1.0/24的局域网网段下。 需求： 1. 在保留原环境的不动的前提下，将Ceph集群加装万兆内网，做内外网分离。 2. 实验进行完后，在原环境不动的前提下，将Ceph所有组件整体迁移到刚加小的万兆网环境下 因原网都在192.168.1.0/24网段下，而新交换机与老交换机之间无法连接(万兆到千兆

文章目录 概述 作者简介 一、大型分布式网站架构技术 1、大型网站的特点 2、大型网站架构目标 3、大型网站架构模式 4、高性能架构 5、高可用架构 6、可伸缩架构 7、可扩展架构 8、安全架构 9、敏捷性 10、大型架构举例 二、大型电商网站系统架构演变过程 1、最开始的网站架构 2、应用、数据、文件分离 3、利用缓存改善网站性能 4、使用集群改善应用服务器性能 5、数据库读写分离和分库分表 6、使用CDN和反向代理提高网站性能 7、使用分布式文件系统 8、使用NoSQL和搜索引擎 9、将应用服务器进行业务拆分 10、搭建分布式服务 三、一张图说明电商架构 四、大型电商网站架构案例 概述 本文是学习大型分布式网站架构的技术总结。对架构一个高性能、高可用、可伸缩及可扩展的分布式网站进行了概要性描述，并给出一个架构参考。文中一部分为读书笔记，一部分是个人经验总结，对大型分布式网站架构有较好的参考价值。 作者简介 烂皮猪，十余年工作经验，曾在Google等外企工作过几年，精通Java、分布式架构，微服务架构以及数据库，最近正在研究大数据以及区块链，希望能够突破到更高的境界 一、大型分布式网站架构技术 1、大型网站的特点 用户多，分布广泛 大流量，高并发 海量数据，服务高可用 安全环境恶劣，易受网络攻击 功能多，变更快，频繁发布 从小到大，渐进发展 以用户为中心 免费服务，付费体验 2

1.集群简介 Hadoop集群具体来说包括两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。 HDFS集群： 负责海量数据的存储，集群中的角色主要有NameNode/DataNode YARN集群： 负责海量数据运算时的资源调度，集群中的角色主要有ResourceManage/NodeManager 2.服务器准备 操作系统： 虚拟机系统 节点 域名/IP地址 Centos6 NameNode/ResourceManage Master/192.168.1.10 Centos6 DataNode/NodeManageer Salve11/192.168.1.11 Centos6 DataNode/NodeManageer Salve12/192.168.1.12 Centos6 DataNode/NodeManageer Salve13/192.168.1.13 Java版本 java version "1.8.0_151" Hadoop版本 3.网络环境准备 3.1.设置IP地址 分别设置节点IP，在每个节点上执行一下步骤： vi /etc/sysconfig/network-scripts/ifcfg-eth0 修改如下： DEVICE=eth0 HWADDR=08:00:27:53:7E:9D TYPE=Ethernet UUID=c8127b91

本文简单介绍了ES、Kibana和Go语言操作ES。 Elasticsearch 介绍 Elasticsearch（ES）是一个基于Lucene构建的开源、分布式、RESTful接口的全文搜索引擎。Elasticsearch还是一个分布式文档数据库，其中每个字段均可被索引，而且每个字段的数据均可被搜索，ES能够横向扩展至数以百计的服务器存储以及处理PB级的数据。可以在极短的时间内存储、搜索和分析大量的数据。通常作为具有复杂搜索场景情况下的核心发动机。 Elasticsearch能做什么 当你经营一家网上商店，你可以让你的客户搜索你卖的商品。在这种情况下，你可以使用ElasticSearch来存储你的整个产品目录和库存信息，为客户提供精准搜索，可以为客户推荐相关商品。 当你想收集日志或者交易数据的时候，需要分析和挖掘这些数据，寻找趋势，进行统计，总结，或发现异常。在这种情况下，你可以使用Logstash或者其他工具来进行收集数据，当这引起数据存储到ElasticsSearch中。你可以搜索和汇总这些数据，找到任何你感兴趣的信息。 对于程序员来说，比较有名的案例是GitHub，GitHub的搜索是基于ElasticSearch构建的，在github.com/search页面，你可以搜索项目、用户、issue、pull request，还有代码。共有40~50个索引库

概念: 集群是个物理形态，分布式是个工作方式。 1.分布式：一个业务分拆多个子业务，部署在不同的服务器上 2.集群：同一个业务，部署在多个服务器上 分布式是指将不同的业务分布在不同的地方。而集群指的是将几台服务器集中在一起，实现同一业务。 分布式中的每一个节点，都可以做集群。而集群并不一定就是分布式的。 举例：就比如新浪网，访问的人多了，他可以做一个集群，前面放一个响应服务器，后面几台服务器完成同一业务，如果有业务访问的时候，响应服务器看哪台服务器的负载不是很重，就将给哪一台去完成。 而分布式，从窄意上理解，也跟集群差不多，但是它的组织比较松散，不像集群，有一个组织性，一台服务器垮了，其它的服务器可以顶上来。 分布式的每一个节点，都完成不同的业务，一个节点垮了，那这个业务就不可访问了。 简单说，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。 例如：如果一个任务由 10 个子任务组成，每个子任务单独执行需 1 小时，则在一台服务器上执行该任务需 10 小时。 采用分布式方案，提供 10 台服务器，每台服务器只负责处理一个子任务，不考虑子任务间的依赖关系，执行完这个任务只需一个小时。(这种工作模式的一个典型代表就是 Hadoop 的 Map/Reduce 分布式计算模型） 而采用集群方案，同样提供 10 台服务器

分布式文件系统 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连 分布式文件系统的设计基于客户机/服务器模式 常用的分布式文件系统 Lustre Hadoop FastDFS Ceph GlusterFS 什么是Ceph Ceph是一个分布式文件系统 具有高扩展，高可用，高性能的特点 Ceph可以提供对象存储，块存储，文件系统存储 块存储（iscsi）客户端多了一个磁盘,文件系统（NFS）客户端直接mount Ceph可以提供PB级别的存储空间（PB→TB→GB），1024G*1024G=1058576G 软件定义存储（Software Defined Storage）作为存储行业的一大发展趋势，已经越来越受到市场的认可 链接在此！ Ceph组件 OSDs 存储设备 Monitors 集群监控软件 RadosGateway（RGW） 对象存储网关 MDSs 存放文件系统的元数据（对象存储和 块存储不需要该组件） Client ceph客户端 实验准备 问题 准备四台KVM虚拟机，其三台作为存储集群节点， 一台安装为客户端，实现如下功能： 创建1台客户端虚拟机 创建3台存储集群虚拟机 配置主机名、IP地址、YUM源 修改所有主机的主机名 配置无密码SSH连接 – 配置NTP时间同步

Elasticsearch本文统称“ES”。很多情况下，因为工作或者学习需要用到ES集群，但是自身服务器资源又有限，如何解决此问题呢？这里用1台云服务器，实现ES集群的搭建并与Kibana实现正常的连接。 第一步：检查系统环境、软件环境 OS：CentOS 7.6 ES: ES 6.8.x JDK： 1.8.181 第二步：安装ES集群 将ES软件从官网下载并解压到/usr/local/目录下，配置JDK开发环境变量（过程略） 第三步：安装细节 默认情况下，我们的ES在不用更改任何配置的情况下，是可以正常启动的。因为ES有两种模式，一种是development模式，这个模式是供开发人员、运维人员去验证其功能是否正常完整的。默认情况下就是development.模式。一旦更改配置文件，那么它就运行在另外的模式 Production生产模式。那么这里我们不改配置。因为ES6以后，我们需要进行普通用户的创建，才能正常启动ES服务。所以我们需要新建一个普通用户，并将ES安装目录授权给刚新建的用户。命令如下： 所以，我们su - elas 切换到用户下，启动ES服务 /usr/local/elasticsearch-6.8.2/bin/elasticsearch 通过JPS查看是否成功 好，接下来，重点来了，我们启动第二个ES节点，命令如下： bin/elasticsearch -Ehttp

Nginx反向代理型负载 负载均衡（load balance）集群，提供了一种廉价、有效、透明的方法，来扩展网络设备和服务器的负载、带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。 单台计算机无法承受大规模的并发访问，或者数据流量。此时需要搭建负载均衡集群把流量分摊到多台节点设备上分别处理，即减少用户的等待响应的时间，又提升了用户体验； 7*24小时的服务保证，任意一个或者多个有限后端节点宕机，不能影响整个业务的运行。 为什么还要学习LVS 工作在网络模型的7层，可以针对http应用做一些分流的策略，比如针对域名、目录结构，Nginx单凭这点可利用的场合就远多于LVS了。 最新版本的Nginx也支持4层TCP负载，曾经这是LVS比Nginx好的地方。 Nginx对网路稳定性的依赖非常小，理论上能ping通就能进行负载均衡，这个也是它的优势之一，相反LVS对网络稳定性依赖比较大。 Nginx的安装配置比较简单，测试起来比较方便，它基本能把错误用日志打印出来。LVS的配置、测试就要花比较长的时间了，LVS对网络依赖比较大。 懵逼了，Nginx这么好用，为什么还要用LVS。 简单一句话，当并发量超过Nginx上线，就可以使用LVS了。 日1000-2000W PV 或者并发请求10000一下都可以考虑用Nginx。 大型门户网站，点上网站需要用到LVS。

回到顶部(go to top) 01. 了解集群架构服务器组成 基本架构组成：（用于让用户进行访问） 前端服务部分： 1 ）顾客 - 用户 是一个访问者，请求访问网站页面 2 ）保安 - 防火墙设备 对访问架构用户进行策略控制，正常访问网站用户，可以放行进入；非法人员（黑客）访问网站，禁止进入 3 ）对讲机 - 交换机（外网） 提供架构中服务器相互通讯交流的需求（提供外部人员访问） 4 ）迎宾人员 - 负载均衡服务器 对用户的访问请求进行调度处理 5 ）服务员 - 网站 web 服务器 对用户的请求进行响应处理 后端服务部分： 1 ）对讲机 - 交互机（内网） 提供架构中服务器相互通讯交流的需求（提供内部局域网服务器通讯交流） 2 ）厨师 - 数据库服务器 主要用于存储用户提交文字（字符串）数据信息 3 ）厨师 - 存储服务器 主要用于存储用户上传视频 音频 图片 附件等数据资料 4 ）厨师 - 备份服务器 主要用于对用户存储（上传）数据信息进行统一备份管理 5 ）厨师 - 缓存服务器 主要用于存储用户经常访问的数据信息，提升请求数据信息的响应效率 扩展架构组成：（用于让运维人员远程管理架构中的服务器） 1 ）员工 - 运维人员 可以远程管理架构中服务器（通过特殊通道-VPN隧道） 2 ）审计 - 跳板机服务器 用于监管内部运维人员操作记录信息，一旦出现架构问题

环境准备 1.服务器概览 ip 操作系统 说明 安装内容 192.168.0.113 centos 7 master节点 jdk1.8, kafka_2.11-0.10.1.1, zookeeper-3.4.8.tar 192.168.0.114 centos 7 master节点 jdk1.8, kafka_2.11-0.10.1.1, zookeeper-3.4.8.tar 192.168.0.115 centos 7 master节点 jdk1.8, kafka_2.11-0.10.1.1, zookeeper-3.4.8.tar 2.服务器环境安装 jdk1.8 安装 参考：centos7 安装jdk 1.8 注意：三台服务均执行 #添加host 192.168.0.112 master.kafka 192.168.0.114 worker1.kafka 192.168.0.115 worker2.kafka #执行以下命令关闭防火墙 [root@node1 ~]systemctl stop firewalld && systemctl disable firewalld [root@node1 ~]setenforce 0 #将SELINUX的值改成disabled [root@node1 ~]vim /etc/selinux/config SELINUX