高可用

1.了解Dubbo+Zookeeper面向服务SOA架构、SpringCloud+Eureka微服务架构、ActiveMQ消息通讯模式、RocketMQ分布式消息、Zookeeper集群、Redis缓存高可用、Nginx反向代理 2.数据库设计、接口设计与文档编写、接口调用数据测试与文档编写 3.了解分布式协调工具Zookeeper、集群、高可用、高并发解决方案、了解web开发常见问题解决方案（如:分布式Job幂等性、跨域问题、服务雪崩、Seesion共享、网站动静分离、接口限流、分布式锁、分布式事物等） 4.了解SpringCloud微服务环境搭建、SpringBoot环境搭建、Feign客户端、Ribbon负载均衡、Zuul接口网关、Hystrix断路器、服务降级、资源隔离、接口限流 5.了解分布式开发、SOA面向服务开发、Cloud微服务开发、大型网站架构、Dubbo、DubboX、RPC远程调用、分布式任务调度Job平台XXL-JOB、分布式配置中心搭建 6.了解微信公众号开发、对接支付接口开发（银联、微信、支付宝）、三方授权OAuth协议、QQ第三方联合登录开发 7.熟悉Maven、SVN、并发编程、Socket网络编程、NIO、Netty框架 8.熟悉TCP/IP协议、OSI七层模型、JMeter压力测试工具、Web安全与反攻，简单防止DDOS、XSS、CSRF等 9

文章目录 概述 作者简介 一、大型分布式网站架构技术 1、大型网站的特点 2、大型网站架构目标 3、大型网站架构模式 4、高性能架构 5、高可用架构 6、可伸缩架构 7、可扩展架构 8、安全架构 9、敏捷性 10、大型架构举例 二、大型电商网站系统架构演变过程 1、最开始的网站架构 2、应用、数据、文件分离 3、利用缓存改善网站性能 4、使用集群改善应用服务器性能 5、数据库读写分离和分库分表 6、使用CDN和反向代理提高网站性能 7、使用分布式文件系统 8、使用NoSQL和搜索引擎 9、将应用服务器进行业务拆分 10、搭建分布式服务 三、一张图说明电商架构 四、大型电商网站架构案例 概述 本文是学习大型分布式网站架构的技术总结。对架构一个高性能、高可用、可伸缩及可扩展的分布式网站进行了概要性描述，并给出一个架构参考。文中一部分为读书笔记，一部分是个人经验总结，对大型分布式网站架构有较好的参考价值。 作者简介 烂皮猪，十余年工作经验，曾在Google等外企工作过几年，精通Java、分布式架构，微服务架构以及数据库，最近正在研究大数据以及区块链，希望能够突破到更高的境界 一、大型分布式网站架构技术 1、大型网站的特点 用户多，分布广泛 大流量，高并发 海量数据，服务高可用 安全环境恶劣，易受网络攻击 功能多，变更快，频繁发布 从小到大，渐进发展 以用户为中心 免费服务，付费体验 2

目录 参考文档 理论概述 DRBD 架构 NFS 架构部署 部署DRBD 部署heartbeat 部署NFS及配合heartbeat nfs切记要挂载到别的机器上不要为了省事，省机器 参考文档 https://blog.51cto.com/732233048/1669417 CentOS 7下安装配置Heartbeat高可用集群_服务器应用_Linux公社-Linux系统门户网站 https://www.linuxidc.com/Linux/2019-02/157123.htm NFS自动挂载_服务器应用_Linux公社-Linux系统门户网站 https://www.linuxidc.com/Linux/2013-05/84777.htm 1 NFS高可用解决方案之DRBD+heartbeat搭建 - 温柔易淡 - 博客园 https://www.cnblogs.com/liaojiafa/p/6129499.html Linux HA集群之DRBD详解(较全面) 构建Mysql+heartbeat+DRBD+LVS集群应用系统系列之DRBD的搭建 https://www.cnblogs.com/liaojiafa/p/6118425.html RHEL/CentOS/Fedora各种源(EPEL、Remi、RPMForge、RPMFusion)配置 - AderStep -

公司建立数仓，hive是必不可少的，hive是建立在hadoop基础上的数据库，前面已经搭建起了hadoop高可用，要学习hive，先从搭建开始，下面梳理一下hive搭建过程 1.下载hive安装包 ，下载地址： https://hive.apache.org/downloads.html 找到自己hadoop对应的版本下载安装，我这里下载的是 apache-hive-2.3.6-bin.tar.gz 2.安装hive，将安装包解压到/opt/soft下，并建立软链接 tar -zxvf apache-hive-2.3.6-bin.tar.gz -C /opt/soft/ cd /opt/soft mv apache-hive-2.3.6-bin hive-2.3.6 ln -s hive-2.3.6 hive 3.配置环境变量/etc/profile vim /etc/profile#hive export HIVE_HOME=/opt/soft/hive export PATH=$PATH:$HIVE_HOME/bin 保存后别忘记编译一下 source /etc/profile 4.配置hive配置文件，hive元数据默认存储到derby数据库中，我们这里使用mysql来存储，hive-site.xml配置信息较多建议下载到windows下修改，然后再传上去

微服务架构 BAT互联网架构这些年的演进分析 国内外常见分布式系统架构状况介绍 微服务架构指南:领域驱动设计DDD模型 SpringCloud1-2实战篇 Config分布式配置中心 Eureka注册与发现机制 Ribbon客户端负载均衡 Hystrix服务熔断组件 Feign声明式服务调用 Zuul网关服务 项目实战：SpringCloud微服务架构 4.1 高并发分布式技术专题 - 分布式开发技术 4.1.1 RPC 4.1.2 分布式系统指挥官Zookeeper 4.1.3 Dubbo框架 4.2 高并发分布式技术专题 - 高并发开发技术 4.2.1 Java多线程并发编程 4.2.2 NIO与实战 4.2.3 高并发-缓存 4.2.4 高并发-消息队列 4.2.5 高并发- 分流 4.3 高并发分布式技术专题 - 实战技巧篇 4.3.1 分布式锁实现方案 基于redis实现 基于zookeeper实现 分布式锁应用场景 4.3.2 分布式事务解决方案 基于X/A协议相关的解决方案 消息队列解决方案 TCC解决方案 本地消息表解决方案 4.3.3 分布式系统校验解决方案 分布式session JWT方式 单点登录框架 4.3.4 互联网高可用架构分析 负载均衡技术分析 通过keepalived实现常用中间件的高可用 4.3.5 分布式订单流水号生成策略分析 基于数据库

2020年疫情的出现对众多企业运营造成了严重的影响。面对突发状况，巨杉利用长期积累的远程研发协作体系，仍然坚持进行技术创新，按照已有规划­­推进研发工作，正式推出了巨杉数据库(SequoiaDB) v5.0 Beta版。 我们也在这里向大家介绍一下，SequoiaDB v5.0 版本中将会包含哪些激动人心的功能和特性。 ARM架构的官方支持 从 3.2 版本开始，SequoiaDB 已经在有限版本中支持 ARM 芯片服务器与国产操作系统。从 SequoiaDB v5.0 开始，我们正式官方支持飞腾与华为等 ARM 芯片架构，以及包括 UOS、深度、中标麒麟等多种国产操作系统。 新监控与运维体系 一直以来，SequoiaDB的监控与运维体系设计以底层诊断快照（snapshot）调用为基础，通过Restful API返回给上层应用整个或部分集群的运行信息。一般来说，企业客户将会根据自身需求开发接口模块，将SequoiaDB的监控接入自身使用的监控大屏系统或Zabbix、ELK等各类软件。 但是我们发现，使用这种机制对于一些用户存在上手困难，需要较多规划设计与定制化二次开发的问题。因此，在SequoiaDB v5.0 版本中，我们在 SAC（Sequoia Administration Center）中推出了增强的开箱即用图形化监控体系

这个春节因为肺炎疫情的严峻，很多企业都实行了“在家办公”的工作模式，如何让在家办公变得安全轻松？华为云数据库携手WeLink（远程协作办公软件）共同保障企业在云上办公的数据稳定可靠，助力企业高效轻松办公。华为云WeLink智能工作平台提供IM、会议、办公等三大服务，目前每天免费支撑会议超过1万人，覆盖230座城市，涵括5万场会议、17万人参会。 那么，华为云数据库是如何助力企业云上办公的呢？ 高稳定：支持TB级数据，轻松应对海量访问 云上办公面临海量企业和用户同时涌入和远程办公的挑战，对网络要求较高，如何让企业稳定持续办公是每个远程协作办公软件必须思考的问题，而华为云WeLink借助华为云数据库MySQL的高稳定性，轻松解决了这个问题。 华为云MySQL采用高可用主备架构，支持跨可用区部署主备实例，主备秒级自动切换，提供更低的RTO保证。同时支持在线扩展只读负载和存储容量扩容，一键规格变更实现CPU内存扩容和缩容，在高并发的大量连接下，提供更快速的响应，有效助力华为云WeLink提供百万级高并发和TB级数据，轻松应对访问压力。 高可靠：数据一键备份恢复，支持跨AZ部署 数据可靠是企业极为关注的问题，也是华为云WeLink十分重视的问题。WeLink服务使用华为云数据库MySQL作为核心数据库，数据基于云盘三副本保存，提供了极高的数据可靠性，无需担心硬件损坏导致数据丢失

1、高可用技术的概念 高可用不是说企业服务器、门户网站、数据库、业务系统不宕机，表示宕机的时间比较短，能够从故障中，快速的恢复用户访问，衡量网站架构是否使用了高可用技术？可用采用几个9，例如99.9%、99.99%、99.999%，9的个数越多，证明服务高可用性越强。 2、keepalived高可用软件的概念？ Keepalived是目前互联网IT企业中使用最广泛的高可用软件，主要是用于实现至少两台服务器之间的服务高可用的，可以做高可用的服务：Apache、Nginx、MYSQL、Redis、Tomcat、PHP、Zabbix、NFS、DHCP、NTP、Vsftpd、Samba、LVS等。 3、keepalived的主要功能 （1）健康检测功能 （2）vrrp实现高可用功能 4、keepalived常用模块 Core，是keepalived的核心，负责主进程的启动和维护，全局配置文件的加载解析等 。 Check，负责healthchecker(健康检查)，包括了各种健康检查方式，以及对应的配置的解析包括LVS的配置解析； Vrrp，VRRPD子进程，VRRPD子进程就是来实现VRRP协议； Libipfwc，iptables(ipchains)库，配置LVS会用到； Libipvs，虚拟服务集群，配置LVS会使用。 5、Layer3,4,7

文章目录 一、MHA 简介 二、部署 MHA 第一步：三台主从服务器安装 mysql 第二步：修改 mysql 的主配置文件：/etc/my.cnf ，注意三个服务器的 server-id 不能一样 第三步：三个服务器启动 mysql 服务 第四步：配置 Mysql 主从同步（一主两从） 第五步：安装 MHA 第六步：启动 MHA 一、MHA 简介： MHA（Master High Availability） （1）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。 （2）该软件由两部分组成：MHA Manager（管理节点）和MHA Node（数据节点）。MHA Manager可以单独部署在一个独立的机器上管理多个master-slave集群，也可以部署在一台slave节点上。MHA Node运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时

5-1 Harbor入门 harbor 还可以扫描镜像漏洞 架构图 简单高可用方案 双主复制 高可用方案 数据库高可用+存储 10.155.20.120 harbor 10.155.20.121 harbor 10.155.20.50 nginx 5-2 Harbor高可用部署（上） 2台机子上解压安装harbor离线包 tar xvf harbor-offline-installer-v1.6.0.tgz 进入harbor文件夹 cd harbor 编辑harbor.cfg #不用域名是因为需要双主 hostname = 10.155.20.120 harbor_admin_password = Hangzhou@123 编辑docker-compose.yml 确保volume的所在磁盘 够大 下载docker-compose文件并重命名移动到/usr/local/bin/docker-compose docker-compose --version 为1.22.0 执行install.sh 安装完毕之后安装nginx docker pull nginx:1.13.12 宿主机上创建一个nginx.conf user nginx; worker_processes 1; error_log /var/log/nginx/error.log warn; pid /var/run