集群服务器

电商平台架构2

强颜欢笑 提交于 2020-01-10 20:51:43
1.电商案例原因 分布式大型网站,目前看主要有几类: 1.大型门户,比如网易,新浪等; 2.SNS网站,比如校内,开心网等; 3.电商网站:比如阿里巴巴,京东商城,国美在线,汽车之家等。大型门户一般是新闻类信息,可以使用CDN,静态化等方式优化,开心网等交互性比较多,可能会引入更多的NOSQL,分布式缓存,使用高性能的通信框架等。 电商网站具备以上两类的特点,比如产品详情可以采用CDN,静态化,交互性高的需要采用NOSQL等技术。 因此,我们采用电商网站作为案例,进行分析。 2 电商网站需求 客户需求: 建立一个全品类的电子商务网站(B2C),用户可以在线购买商品,可以在线支付,也可以货到付款; (1)用户购买时可以在线与客服沟通; (2)用户收到商品后,可以给商品打分,评价; (3)目前有成熟的进销存系统;需要与网站对接; (4)希望能够支持3~5年,业务的发展; (5)预计3~5年用户数达到1000万; (6)定期举办双11,双12,三八男人节等活动; (7)其他的功能参考京东或国美在线等网站。 客户就是客户,不会告诉你具体要什么,只会告诉你他想要什么,我们很多时候要引导,挖掘客户的需求。好在提供了明确的参考网站。因此,下一步要进行大量的分析,结合行业,以及参考网站,给客户提供方案。 需求管理传统的做法,会使用用例图或模块图(需求列表)进行需求的描述

lvs简介

*爱你&永不变心* 提交于 2020-01-10 19:41:32
lvs基础 lvs基础原理及实现 Linux Cluster: Cluster:计算机集合,为解决某个特定问题组合起来形成的单个系统 LB:Load Balancing,负载均衡 HA: High Availiablity,高可用 HP:High Performance,高性能 lvs集群的类型: lvs-nat(network address translation) 多目标IP的DNAT,通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和port实现转发 RIP和DIP必须在同一个IP网络,且应该使用私网地址; 请求报文和响应报文都必须经过由Director转发,Director易于成为系统瓶颈 支持端口映射,可修改请求报文的目标port vs必须是linxu系统,rs可以是任意系统 发送的包 cip/vip --> vs cip/rip 返回的包 rip/cip --> vs vip/cip 支持端口映射 lvs-dr(direcrot routing直接路由) Director Routing:直接路由: //后端主机,改IP后不做通告,也不arp请求响应 通过为请求报文重新封装一个MAC首部进行转发,源MAC是DIP所在的接口的MAC,目标是某挑选出的RS的RIP所在接口的MAC地址;源IP/PORT,以及目标IP/PORT均保持不变

虚拟机搭建hadoop集群笔记

大兔子大兔子 提交于 2020-01-10 18:27:43
VM15.0,centos7 最小版安装centos,不能上网。先配置网络,设置: BOOTPROTO="dhcp" ONBOOT="yes" 然后service network restart重启网络,根据分配的ip,设置静态ip BOOTPROTO="static" # 手动分配ip IPADDR=172.16.235.240 # 该网卡ip地址就是你要配置的固定IP,如果你要用xshell等工具连接,220这个网段最好和你自己的电脑网段一致,否则有可能用xshell连接失败 GATEWAY="172.16.235.129" # 网关 NETMASK="255.255.255.224" # 子网掩码 DNS1="172.16.6.208" # DNS,8.8.8.8为Google提供的免费DNS服务器的IP地址 安装资源准备: 1、8G内存以上的台式机,安装VM15.0,再安装centos7,选择最小安装,先配置master,如下: 2、建好目录: mkdir /bdl /bdl/software /bdl/appData /bdl/software/hadoop /bdl/software/java8 -bdl --software ---hadoop –--java8 --appData 2、准备好安装包:jdk-8u121-linux-x64.tar.gz、hadoop

MongoDB windows基础配置及集群搭建

非 Y 不嫁゛ 提交于 2020-01-10 11:32:13
由于公司业务的发展MSSQL已处于瓶颈。因为没钱买牛逼服务器只能靠软件来实现最大优化了。原来的系统架构如下图: 现在准备把读写数据库和只读数据换成Nosql数据库。最终选择了Mongodb. 下面开始了Mongodb的学习。 1. Mongodb下载: https://www.mongodb.org/downloads?_ga=1.159678843.794950141.1434346788 2.具体安装就不多说了。网上太多介绍的。没必要浪费键盘了。 3.搭建复制集 一个简单的复制集最少包括三个节点。 1.primary 2. secondary,3.arbiter节点 primary: 存储数据。 secondary:同步主节点数据 arbiter: 当主节点故障时,arbiter会投票选择一个secondary充当priary节点。 大致如下: 注意:三个节点其实就是三个Mongod实例。 (1). 创建主节点配置文件内容如下: 文件名:rs0.conf dbpath = D:\RuntimeServices\MongoDB_Ad\shard00\db //指定数据存储目录   logpath = D:\RuntimeServices\MongoDB_Ad\shard00\log\shard00.log //指定数据库日志目录   journal = true /

大数据框架开发基础之Zookeeper入门

喜你入骨 提交于 2020-01-10 10:44:49
Zookeeper 是Hadoop分布式调度服务,用来构建分布式应用系统。构建一个分布式应用是一个很复杂的事情,主要的原因是我们需要合理有效的处理分布式集群中的部分失败的问题。例如,集群中的节点在相互通信时,A节点向B节点发送消息。A节点如果想知道消息是否发送成功,只能由B节点告诉A节点。那么如果B节点关机或者由于其他的原因脱离集群网络,问题就出现了。A节点不断的向B发送消息,并且无法获得B的响应。B也没有办法通知A节点已经离线或者关机。集群中其他的节点完全不知道B发生了什么情况,还在不断的向B发送消息。这时,你的整个集群就发生了部分失败的故障。 Zookeeper不能让部分失败的问题彻底消失,但是它提供了一些工具能够让你的分布式应用安全合理的处理部分失败的问题。 Zookeeper基本 是什么 是一个基于观察者模式设计的分布式服务管理框架,他负责存储和管理大家都关心的数据,然后接受管擦者的注册,一旦这些数据的状态发生了变化,Zookeeper就将负责通知已经在Zookeeper上注册的观察者做出相应的反应。 特点是什么 集群中半数以上的机器存活,Zookeeper集群就可以正常服务。 集群数据保持一致,每一个Server保存一分相同的数据副本,Client无论连接那个Server,数据都是一致的。 Zookeeper的工作机制 Zookeeper 特点 Zookeeper:

7.zookeeper集群搭建(windows环境下)

蓝咒 提交于 2020-01-10 10:15:51
转自:https://www.cnblogs.com/xuxiuxiu/p/5868481.html 本次zk测试部署版本为3.4.6版本,下载地址http://mirrors.cnnic.cn/apache/zookeeper/ 限于服务器个数有限本次测试了两种情况 1、单节点方式:部署在一台服务器上 2、单IP多节点(伪集群):部署在同一IP,但是有多个节点,各有自己的端口 3、多IP多节点:部署在不同IP,各有自己的端口(未测试) 一、单节点方式: 1、解压zk包,进入zookeeper-3.4.6\conf目录,修改zoo_sample.cfg文件为zoo.cfg.如果没有特殊需求,不需要修改配置文件,直接使用默认配置文件即可. 各个参数的意义: tickTime:这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。 dataDir:顾名思义就是 Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里。 clientPort:这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。 initLimit:集群中的follower服务器(F)与leader服务器(L

redis测试题

[亡魂溺海] 提交于 2020-01-10 10:06:36
1、什么是Redis? Redis本质上是一个Key-Value类型的内存数据库,很像memcached,整个数据库统统加载在内存当中进行操作,定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作,Redis的性能非常出色,每秒可以处理超过 10万次读写操作,是已知性能最快的Key-Value DB。 Redis的出色之处不仅仅是性能,Redis最大的魅力是支持保存多种数据结构,此外单个value的最大限制是1GB,不像 memcached只能保存1MB的数据,因此Redis可以用来实现很多有用的功能,比方说用他的List来做FIFO双向链表,实现一个轻量级的高性 能消息队列服务,用他的Set可以做高性能的tag系统等等。另外Redis也可以对存入的Key-Value设置expire时间,因此也可以被当作一 个功能加强版的memcached来用。 Redis的主要缺点是数据库容量受到物理内存的限制,不能用作海量数据的高性能读写,因此Redis适合的场景主要局限在较小数据量的高性能操作和运算上。 2、Redis相比memcached有哪些优势? (1) memcached所有的值均是简单的字符串,redis作为其替代者, 支持更为丰富的数据类型 (2) redis的速度比memcached快很多 (3) redis可以持久化其数据 3、Redis支持哪几种数据类型

大数据高可用集群环境安装与配置(02)——配置ntp服务

浪尽此生 提交于 2020-01-10 05:17:39
大数据高可用集群环境安装与配置(01)——服务器基础配置 NTP服务概述 NTP服务器【Network Time Protocol(NTP)】是用来使计算机时间同步化的一种协议,它可以使计算机对其服务器或时钟源(如石英钟,GPS等等)做同步化,它可以提供高精准度的时间校正(LAN上与标准间差小于1毫秒,WAN上几十毫秒),且可介由加密确认的方式来防止恶毒的协议攻击。时间按NTP服务器的等级传播。按照离外部UTC源的远近把所有服务器归入不同的Stratum(层)中。 安装部署 执行命令, 安装ntp和ntpdate软件包 yum install ntp -y 配置NTP服务器端 vi /etc/ntp.conf 修改下面内容(没有的就添加,有的就修改): restrict default ignore restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap #server 0.centos.pool.ntp.org iburst #server 1.centos.pool.ntp.org iburst #server 2.centos.pool.ntp.org iburst #server 3.centos.pool.ntp.org iburst server 127.127.1.0 fudge 127.127.1.0

Consul 常用指令

我与影子孤独终老i 提交于 2020-01-10 01:56:01
Consul 常用指令 # 通告地址 -advertise # 集群节点之间通信地址 -bind # 设置服务器为bootstrap模式。在一个dc中只有一个server处于bootstrap模式。一般初始化第一台Consul时指定,自选举为leader。 -bootstrap # 在一个dc中期望提供server节点数目,consul会一直等到指定的server数目才会引导整个集群,选举leader。不能与boostrap同时用。 -bootstrap-expect # 设置客户端访问地址,包括RPC、DNS。默认127.0.0.1 -client # 从JSON配置文件中读取 -config-file # 指定存放agent server集群状态目录,以免系统重启丢失 -data-dir # 数据中心名称,默认dc1 -dc # HTTP API监听端口 -http-port # 加入一个已经启动的agent,可以指定多个agent地址 -join # 节点名称,必须在集群中唯一的。默认是主机名 -node # 忽略先前的离开,再次启动后尝试加入集群 -rejoin # 切换agent模式到server模式。每个集群至少有一个server -server # 启用内置的Web UI -ui # Web UI的资源目录 -ui-dir 来源: https://www

搭建 Kubernetes 高可用集群

回眸只為那壹抹淺笑 提交于 2020-01-10 00:12:51
使用 3 台阿里云服务器(k8s-master0, k8s-master1, k8s-master2)作为 master 节点搭建高可用集群,负载均衡用的是阿里云 SLB ,需要注意的是由于阿里云负载均衡不支持后端服务器自己转发给自己,所以 master 节点的 control-plane-endpoint 不能走负载均衡。 先在 k8s-master0 上安装好 k8s ,安装步骤见 Ubuntu 安装 k8s 三驾马车 kubelet kubeadm kubectl ,然后打快照创建阿里云 ecs 镜像。 确定 control-plane-endpoint 主机名,这里假设是 k8s-api ,在 k8s-master0 的 hosts 中添加 k8s-api 的解析。 10.0.1.81 k8s-api 在 k8s-master0 上创建集群, kubeadm init \ --control-plane-endpoint "k8s-api:6443" --upload-certs \ --image-repository registry.aliyuncs.com/google_containers \ --pod-network-cidr=192.168.0.0/16 \ --v=6 创建成功后会出现下面的提示 Your Kubernetes control-plane