master

读写分离原理 由MySQL代理面向客户提供服务 案例1：实现MySQL读写分离 1.1 问题 搭建一主一从结构 配置maxscale代理服务器 测试配置 使用4台虚拟机，如图-1所示。其中192.168.4.51和192.168.4.52，分别提供读、写服务，均衡流量，通过主从复制保持数据一致性，由MySQL代理192.168.4.57面向客户端提供服务，收到SQL写请求时，交给主服务器处理，收到SQL读请求时，交给从服务器处理。在客户机192.168.4.50测试配置。 步骤一：搭建MySQL一主一从同步结构 配置主服务器192.168.4.51 ] # vim /etc/my.cnf [mysqld] server_id=51 / / 指定服务器ID号 log - bin=master51 / / 启用binlog日志，并指定文件名前缀 . . . [root@master10 ~] # systemctl restart mysqld //重启mysqld 主服务器授权用户，并查看binlog日志信息 ] # mysql -uroot -p123456 mysql> grant all on * . * to 'repluser' @ '%' identified by '123456' ; Query OK , 0 rows affected , 1 warning ( 0

1、启动cdh的时候，HBase master启动不了，日志报错： Failed get of master address: java.io.IOException: Can't get master address 后面启动了httpd就可以正常启动HBase master了 来源： CSDN 作者： Angular_need 链接： https://blog.csdn.net/Angular_need/article/details/89332960

keepalived高可用nginx 配置主keepalived 关闭防火墙与SELINUX [root@master ~]# systemctl stop firewalld [root@master ~]# systemctl disable firewalld Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service. Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service. [root@master ~]# setenforce 0 [root@master ~]# sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/selinux/config 安装keepalived [root@master ~]# yum -y install keepalived 用同样的方法在备服务器上安装keepalived [root@slave ~]# yum -y install keepalived （防火墙和SELINUX也需要关） 在master上安装nginx [root@master ~]# yum -y install nginx [root

转载来自于： Borg/Mesos/Yarn三大主流资源管理与调度系统对比 0. 前言 Mesos（Twitter）、YARN（apache）和Borg(google)三个资源管理与调度系统可以说是目前资源管理和调度系统的先导者，现有的大多数资源管理和调度系统都从这三个系统中吸纳设计思想。对这三个系统的对比总结有助于更好的了解目前资源管理与调度系统的状态和未来的发展趋势。 需要特别说明的是，borg系统所提出的思想直接影响了资源管理和调度系统的发展，例如其提出的在线任务和离线任务混合部署的思路以及资源超售的思路领先行业十余年。直到今天一些业界的系统才开始在混部方面进行探索，而borg早在十多年前就已经提出并在内部系统中进行成熟使用。 对于这三个系统最早出现的应该是borg，其是谷歌内部的资源管理系统，但是一直没有对外公开，直到2015年才发表论文进行说明。接着是Mesos系统，发表于2012年左右，YARN系统发表于2013年，这三个系统无论是在架构设计还是针对的场景、实现思路上都存在较大的差异，下面将针对不同的维度进行阐述。 1. 架构方面 borg架构 Mesos架构 YARN架构 相同之处：三种架构都是基于master/slave架构进行设计的，master主要负责全局的资源分配，slave节点主要负责本节点的各项信息收集、汇报工作。但是具体的实现细节方面还有很大差别。

1、Redis 主从同步 Redis主从复制，当用户往Master端写入数据时，通过Redis Sync机制将数据文件发送至Slave，Slave 也会执行相同的操作确保数据一致。同时slave上还可以开启二级slave、三级slave从库，和MySQL的主从类似。 Redis主从配置非常简单，只需要在Redis从库配置中指定slaveof ip port 即可，IP表示指定主库的ip，port表示redis监听端口。 准备机器两台 master:10.0.0.147 slave:10.0.0.149 1.1 配置主从同步 1.1.1 主库配置 # 修改配置文件 bind 0.0.0.0 #以守护进程在后台运行 daemonize yes #可选设置认证密码，从库需要指定master的密码才能完成同步 requirepass "123456" 1.1.2 从库配置 # 修改配置文件设置 bind 0.0.0.0 # 指定主库 slaveof 10.0.0.147 6379 或者 REPLICAOF 10.0.0.147 6379 #指定master的认证密码（如果远程服务器设置了密码，则需要认证密码） masterauth "123456" 也可在命令行设置，设置完直接生效但重启服务则失效 # 指定主库 slaveof 10.0.0.147 6379 或者 REPLICAOF 10

你能聊聊redis cluster集群模式的原理吗？ 1、面试题redis集群模式的工作原理能说一下么？在集群模式下，redis的key是如何寻址的？分布式寻址都有哪些算法？了解一致性hash算法吗？ 2、面试官心理分析 在以前，如果前几年的时候，一般来说，redis如果要搞几个节点，每个节点存储一部分的数据，得借助一些中间件来实现，比如说有codis，或者twemproxy，都有。有一些redis中间件，你读写redis中间件，redis中间件负责将你的数据分布式存储在多台机器上的redis实例中。这两年，redis不断在发展，redis也不断的有新的版本，redis cluster，redis集群模式，你可以做到在多台机器上，部署多个redis实例，每个实例存储一部分的数据，同时每个redis实例可以挂redis从实例，自动确保说，如果redis主实例挂了，会自动切换到redis从实例顶上来。现在redis的新版本，大家都是用redis cluster的，也就是redis原生支持的redis集群模式，那么面试官肯定会就redis cluster对你来个几连炮。要是你没用过redis cluster，正常，以前很多人用codis之类的客户端来支持集群，但是起码你得研究一下redis cluster吧。 redis如何在保持读写分离+高可用的架构下，还能横向扩容支持1T+的海量数据

怎么安装mysql数据库，这里不说了，只说它的主从复制，步骤如下： 1、主从服务器分别作以下操作 ： 1.1、版本一致 1.2、初始化表，并在后台启动mysql 1.3、修改root的密码 2、修改主服务器master: #vi /etc/my.cnf [mysqld] log-bin=mysql-bin //[必须]启用二进制日志 server-id=222 //[必须]服务器唯一ID，默认是1，一般取IP最后一段 3、修改从服务器slave: #vi /etc/my.cnf [mysqld] log-bin=mysql-bin //[不是必须]启用二进制日志 server-id=226 //[必须]服务器唯一ID，默认是1，一般取IP最后一段 4、重启两台服务器的mysql /etc/init.d/mysql restart 5、在主服务器上建立帐户并授权slave: #/usr/local/mysql/bin/mysql -uroot -pmttang mysql> GRANT REPLICATION SLAVE ON *.* to 'zxf330301'@'192.168.5.113' identified by '#zhangXF3303'; //一般不用root帐号，“%”表示所有客户端都可能连，只要帐号，密码正确，此处可用具体客户端IP代替，如192.168.5

OpenCV Error: Assertion failed (!empty()) in cv::CascadeClassifier::detectMultiScale, file C:\build\master_winpack-bindings-win64-vc14-static\opencv\modules\objdetect\src\cascadedetect.cpp, line 1681 Exception in thread “Thread-2” CvException [org.opencv.core.CvException: cv::Exception: C:\build\master_winpack-bindings-win64-vc14-static\opencv\modules\objdetect\src\cascadedetect.cpp:1681: error: (-215) !empty() in function cv::CascadeClassifier::detectMultiScale ] 解决思路：查看是否为xml路径读取出现错误 解决方法： public final static String FACE_DETECTOR_XML = “E:/opencv/opencv/sources/data/haarcascades/haarcascades

learning the git 1.创建repository 版本库 在需要的文件夹下面直接 git init 2.时光穿梭机 1.版本回退 掌握工作区的状态,是否有修改 git status 查看修改的内容 git diff 对于已经 add commit的文件需要回到回退版本 第一步 查看git日志 git log 第二步 查看版本号 日志commit后面的数字 HEAD 表示当前版本 HEAD^ 上一个版本 HEAD^^ 上上一个版本 HEAD~100 前一百个版本 回退到上一个版本 git reset --hard HEAD^ 重返未来，需要查看未来commitId git relog git reset --hard commitId 2.工作区和暂存区 working directory and stage(index) git add 添加文件 是将文件修改添加到暂存区 git commit 提交文件 把暂存区的所有内容提交到当前分支 每次的修改 如果不 git add到暂存区，那么不会加入到 commit 3.撤销修改 撤销(丢弃))工作区的修改 git checkout -- file -- 这个很重要 git checkout file 表示切换到file branch 切换分支 unstage 暂存区的修改撤销掉 git reset HEAD file

1、复制的完整流程 （1）slave node启动，仅仅保存master node的信息，包括master node的host和ip，但是复制流程没开始 master host和ip是从哪儿来的，redis.conf里面的slaveof配置的 （2）slave node内部有个定时任务，每秒检查是否有新的master node要连接和复制，如果发现，就跟master node建立socket网络连接 （3）slave node发送ping命令给master node （4）口令认证，如果master设置了requirepass，那么salve node必须发送masterauth的口令过去进行认证 （5）master node第一次执行全量复制，将所有数据发给slave node （6）master node后续持续将写命令，异步复制给slave node 2、数据同步相关的核心机制 指的就是第一次slave连接msater的时候，执行的全量复制，那个过程里面你的一些细节的机制 （1）master和slave都会维护一个offset master会在自身不断累加offset，slave也会在自身不断累加offset slave每秒都会上报自己的offset给master，同时master也会保存每个slave的offset 这个倒不是说特定就用在全量复制的