集群服务器

1. Redis的安装 1.1. Redis的安装 Redis是c语言开发的。 安装redis需要c语言的编译环境。如果没有gcc需要在线安装。yum install gcc-c++ 安装步骤： 第一步：redis的源码包上传到linux系统。 第二步：解压缩redis。 第三步：编译。进入redis源码目录。make 第四步：安装。make install PREFIX=/usr/local/redis PREFIX参数指定redis的安装目录。一般软件安装到/usr目录下 1.2. 连接redis 1.2.1. redis的启动： 前端启动：在redis的安装目录下直接启动redis-server [root@localhost bin]# ./redis-server 后台启动： 把/root/redis-3.0.0/redis.conf复制到/usr/local/redis/bin目录下 [root@localhost redis-3.0.0]# cp redis.conf /usr/local/redis/bin/ 修改配置文件： [root@localhost bin]# ./redis-server redis.conf 查看redis进程： [root@localhost bin]# ps aux|grep redis root 5190 0.1 0.3 33936

Redis是开源的免费的高效的以键值对类型的 NoSQL数据库; Redis自身优势: 1.支持的数据类型丰富; 2.因为使用的是内存,读写速度快; 3.原子性,redis中的操作都是单线程,但后期可能会出多线程; 4高可用,redis主从模式,哨兵,集群 5.可设置过期时间,消息订阅等 Redis支持的数据类型: String(字符串)、List(列表)、Set(无序去重集合)、Sorted Set(有序去重集合)、hash(哈希) Redis数据淘汰策略: noeviction 不允许淘汰数据,内存满返回错误信息; allkeys-lru 在所有数据列表中挑选调用最少的数据淘汰; volatile-lru 在已经过期的数据列表中淘汰使用最少的数据; allkeys-random 在所有数据列表中随机淘汰数据 volatile-random 在已经过期的数据列表中随机淘汰数据 volatile-ttl 在已经过期的数据列表中优先淘汰回收存活时间较短的数据; Redis的value值最大存储1个G, String类型最大存储512GB; Redis为了达到最快的读写速度,将数据都写入内存中,在通过异步的方式将数据持久化到磁盘中;这是Redis的优势; Redis的持久化方案: (默认)RDB AOF RDB: 是定期将数据快照保存在一个rbd文件中

Linux 集群架构 一、Linux 集群概述 根据功能划分为两大类：高可用和负载均衡 高可用集群，通常为两台服务器，一台工作，另外一台作为冗余；当提供服务的机器宕机，冗余将接替继续提供服务。实现高可用的开源软件有：heartbeat、keepalived 负载均衡集群，需要有一台服务器作为分发器，它负责把用户的请求分发给后端的服务器处理；在这个集群里，除了分发器外，就是给用户提供服务的服务器了，这些服务器数量至少为2台。实现负载均衡的开源软件有LVS、keepalived、haproxy、nginx，商业的有F5、Netscaler。 二、高可用集群配置 1. keepalived介绍 在这里我们使用keepalived来实现高可用集群，因为heartbeat在centos6上有一些问题，影响实验效果；keepalived通过VRRP（Virtual Router Redundancy Protocl）来实现高可用。在这个协议里会将多台功能相同的路由器组成一个小组，这个小组里会有1个master角色和N（N>=1）个backup角色。master会通过组播的形式向各个backup发送VRRP协议的数据包，当backup收不到master发来的VRRP数据包时，就会认为master宕机了。此时就需要根据各个backup的优先级来决定谁成为新的mater。

elasticsearch 摘要： 1 es是一个分布式全文搜索引擎。特定是：无中心化，实时，扩展性强。 2. es有几个好的概念或者特点：（1）cluster 集群无中心化。（2）shards。分片，通过分片实现分布式。（3）通过快照的方式实现方便的备份和恢复。 3. 安装 更改config配置文件，修改node名字，修改存储路径，集群名字保持一致，就可以加入同一个集群 定义： ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于 云计算 中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 我们建立一个网站或应用程序，并要添加搜索功能，令我们受打击的是：搜索工作是很难的。我们希望我们的搜索解决方案要快，我们希望有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON通过HTTP的索引数据，我们希望我们的搜索服务器始终可用，我们希望能够一台开始并扩展到数百，我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。Elasticsearch旨在解决所有这些问题和更多的问题。 概念： 基础概念 Elasticsearch有几个核心概念

1、简述lvs四种集群特点及使用场景 　　LVS集群有4种类型，分别是NAT、DR、TUN、FULLNAT 　　从工作方式来讲，NAT和FULLNAT都要修改请求报文的目标IP和目标端口（NAT）或源IP目标IP或源端口目标端口（FULLNAT），通常情况下，不建议修改源端口。这两种集群的特点是，请求报文和响应报文都要经由DIRECTOR（调度器），在NAT类型的集群中，后端real server一般都是和director在同一网段，且为私网地址。director应该是后端各real server 的网关。而FULLNAT各real server 的ip未必都在同一IP网络，但后端主机必须能与director通信即可。通常这两种类型的集群应用比较多的是NAT，FULLNAT应用比较少，且FULLNAT是非标准应用，所以我们要在使用FULLNAT时还需要额外的给Linux内核打补丁才能使用；NAT通常应用在一些请求流量没有太大的集群环境中，且director和各后端real server在同一IP网网络，一般用于隐藏后端主机的真实地址；FULLNAT常用于后端主机和director不再同一IP网络，但他们又可以正常通行的跨网段的内网集群环境中使用； 　　DR和TUN这两种类型的集群在用户请求报文上都没有修改操作，只是在原来的请求报文上各自封装了一个新的mac首部（DR）或ip首部

企业级负载均衡集群—LVS(三)—DR模式下的健康检查 文章目录 企业级负载均衡集群---LVS(三)---DR模式下的健康检查 1.健康检查的必要性 2.实验环境部署 3.部署ldirectord 4.编辑 ldirectord的配置文件 5.清除ipvsadm策略&开启ldirectord服务 6.测试 1.健康检查的必要性 下面通过一个小实验了解健康检查的必要性： step1 宕掉server2的apache systemctl stop httpd step2 在测试页进行测试 curl 172.25.254.100 由此我们可以知道： 如果后端真实服务器出现问题，在客户访问时，会返回一个错误的页面。所以我们需要对后端服务器做健康检查，保证只返回正确的页面提供给用户。 2.实验环境部署 给sever1配置高可用的yum源： 3.部署ldirectord rpm -qpl ldirectord-3.9.5-3.1.x86_64.rpm cp /usr/share/doc/ldirectord-3.9.5/ldirectord.cf /etc/ha.d/ cd /etc/ha.d/ ls 4.编辑 ldirectord的配置文件 [root@server1 ha.d]# vim ldirectord.cf # Global Directives #全局设置

文章正文 1、什么是 Redis?. 2、Redis 的数据类型？ 3、使用 Redis 有哪些好处？ 4、Redis 相比 Memcached 有哪些优势？ 5、Memcache 与 Redis 的区别都有哪些？ 6、Redis 是单进程单线程的？ 7、一个字符串类型的值能存储最大容量是多少？ 8、Redis 的持久化机制是什么？各自的优缺点？ 9、Redis 常见性能问题和解决方案： 10、redis 过期键的删除策略？ 11、Redis 的回收策略（淘汰策略）? 12、为什么 edis 需要把所有数据放到内存中？ 13、Redis 的同步机制了解么？ 14、Pipeline 有什么好处，为什么要用 pipeline？ 15、是否使用过 Redis 集群，集群的原理是什么？ 16、Redis 集群方案什么情况下会导致整个集群不可用？ 17、Redis 支持的 Java 客户端都有哪些？官方推荐用哪个？ 18、Jedis 与 Redisson 对比有什么优缺点？ 19、Redis 如何设置密码及验证密码？ 20、说说 Redis 哈希槽的概念？ 21、Redis 集群的主从复制模型是怎样的？ 22、Redis 集群会有写操作丢失吗？为什么？ 23、Redis 集群之间是如何复制的？ 24、Redis 集群最大节点个数是多少？ 25、Redis 集群如何选择数据库？ 26、怎么测试

针对大型解决方案的架构设计有了一些进展，继续来做一下总结。 根据项目组中同事提供北京格瑞趋势的资料，我和他们进行了联系，根据他们提供的解决方案，发现能完全满足我们的业务要求。这个产品的简介如下： 1 、Moebius采用无共享磁盘架构的设计，结构灵活简单，方便用户将多个中小型服务器组成集群替代大型服务器，实现更高的综合性能；采用和SQL Server高度集成的设计方式，将Moebius 集群的管理工具集成到SQL Server Management Studio中，方便用户操作，轻松部署、维护、管理集群。 2 、传统的数据库集群都是保证业务持续可用的，有一个主节点，一个备用节点，如MSCS或者第三方的HA集群，这类集群的共同特点是始终只有一个节点在运行，在性能上得不到提升，系统也就不具备扩展的能力，当现有的机器不能满足应用的负载时只能更换更高配置的机器。这样的系统既不利于扩展，同时硬件资源浪费严重。 在Moebius for SQL Server 数据库负载均衡集群中，打破了以往主节点和备用节点的概念，集群中的每个节点都具有同等地位，Moebius可以在多个节点之间实现动态均衡连接请求，实现各节点压力的均衡，进而显著提升数据库系统的性能。 3 、Moebius集群为用户提供了多种选择模式，可以根据对可用性要求程度的不同，采取合适的设置

集群， 英文 名称为Cluster， 通俗 地说，集群是这样一种 技术 ：它将多个系统连接到一起，使多台服务器能够像一台机器那样工作或者看起来好像一台机器。采用集群系统通常是为了提高系统的稳定性和网络中心的数据处理能力及服务能力。 　　举个例子来说，我们架设了一台WWW服务器，上面构建了一个电子商务网站，然而随着时间的推移，名声越来越大，这时点击率也就越来越高，WWW服务器的负载也就越来越高。这种情况下，我们就必须 提升 WWW服务器的能力，以满足以益增长的服务请求。这时，我们就面临两种选择： 　　1）升级WWW服务器，采用更快的CPU，增加更多的内存，使其具有更强的性能；但日益增长的服务请求又会使服务器再次过载，需要再次升级，这样就陷入了升级的怪圈。还有，升级时还得考虑到服务如何接续，能否中止！ 　　2）增加WWW服务器，让多台服务器来完成相同的服务。 　　第二种方法就是服务器集群，简而言之，就是一组相互独立的服务器在网络中表现为单一的系统，并 以单一系统的模式加以管理。此单一系统为客户工作站提供高可靠性的服务。一个服务器集群包含多台拥有共享数据存储空间的服务器，各服务器之间通过内部局域 网进行相互通信；当其中一台服务器发生故障时，它所运行的应用程序将由其他的服务器自动接管；在大多数情况下，集群中所有的计算机都拥有一个共同的名称，

Ambari 介绍1 Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。 Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。 建议 需对hadoop生态圈的各个组件以及环境配置，参数有一定的知识，才建议使用ambari搭建 对比（CDH） 1、Hortonworks Hadoop区别于其他的Hadoop发行版(如Cloudera)的根本就在于，Hortonworks的产品均是百分之百开源。 2、Cloudera有免费版和企业版，企业版只有试用期。 3、apache hadoop则是原生的hadoop。 4、目前在中国流行的是apache hadoop，Cloudera CDH，当然Hortonworks也有用的5、Apache Ambari是一个基于web的工具，用于配置、管理和监视Apache Hadoop集群，支持Hadoop HDFS、Hadoop MapReduce、Hive、HCatalog,、HBase、ZooKeeper