master

由于在开发时，并没有从master分支拉取分支，直接复制代码进行测试，造成在两个机器上产生两个不同版本的repo1_test 和repo2_test仓库。 后续开发需要基于两个测试完成后合并的master分支。现将两个不同版本的repo1_test 和repo2_test仓库需要合并到master分支。也就是完成下图所示的工作流程： a master C repo1_test D repo_2_test 1 从repo1_test和repo2_test克隆出空git仓库 git clone --bare <workspace>/.git repo1_test.git 2 在mster中将repo1_test添加为远端仓库，并设置别名repo1 git remote add repo1 <file path>/repo1_test.git 3 从repo1_test中拉去数据到本仓库 git fetch repo1 4 从远端repo1仓库的master分支拉取数据作为新分支checkout到本仓库的新分支feature/repo1 git checkout -b feature/repo1 repo1/master 5 我们在feature/repo1分支下将master分支进行合并,以免对主分支的代码造成影响。 git merge master 此时应该会报错 fatal:

由于最近比较忙，一直到假期才有空，因此将自己学到的知识进行分享。如果有不对的地方，请指出，谢谢！目前深度学习越来越火，学习、使用tensorflow的相关工作者也越来越多。最近在研究tensorflow线下采用 python 脚本训练出模型, 利用freeze_graph工具输出.pb图文件，之后再线上生产环境windows平台上用C++代码直接调用预先训练好的模型完成预测的工作。因为目前tensorflow提供的C++的API比较少，所以参考了以上几篇已有的日志，做个总结。这里编译出TensorFlow C++ library，遇到的坑进行填埋。之后的调用C++library相对比较简单，可以参考链接部分。 Step1：Windows 10必备环境准备 1.1安装VS2015 1.2安装 Swigwin-3.0.12 ，其可执行文件地址为 D:/lib/swigwin-3.0.12/swig.exe 1.4安装 python3.5 ，安装时注意选择将路径添加到环境变量。 1.5安装 CMake-3.8.0 ，安装时注意选择将路径添加到环境变量。 1. 6安装 Git ，用于在编译过程中从GitHub上下载依赖项。 1.7 将GitHub上 TensorFlow的master分支 下载并解压到文件夹D:\tf中，编辑文件 tensorflow/tensorflow/contrib

1. 脚本使用小结 1.开启集群 start-hbase.sh 2.关闭集群 stop-hbase.sh 3.开启/关闭【所有】的regionserver、zookeeper hbase-daemons.sh start/stop regionserver/zookeeper 4.开启/关闭【单个】的regionserver、zookeeper hbase-daemon.sh start/stop regionserver/zookeeper 5.开启/关闭master hbase-daemon.sh start/stop master 是否成为active master取决于当前是否有active master 2. 两个进阶脚本 6.rolling-restart.sh 可以用来挨个滚动重启 7.graceful_stop.sh move服务器上的所有region后，再stop/restart该服务器，可以用来进行版本的热升级 几个细节： 1。hbase-daemon.sh start master 与 hbase-daemon.sh start master --backup，这2个命令的作用一样的，是否成为backup或active是由master的内部逻辑来控制的 2。stop-hbase.sh不会调用hbase-daemons.sh stop regionserver

高可用性机制 RocketMQ分布式集群是通过Master和Slave的配合达到高可用的 Master和Slave的区别:Broker配置文件中,参数brokerId的值为0带包这个Broker是Master,大于0是Slave Master角色的Broker支持读和写,Slave角色的Broker仅支持读 消费高可用 有了主从结构之后,内部实现了自动切换,当Master不可用或繁忙的时候,会自动切换到Slave读,折旧达到了消费端的高可用 发送高可用 创建Topic时,把Topic的多个Message Queue创建在多个Broker组上,当一个Broker的Master不可用后,其他组的Master任然可用, 如果需要把Slave转换成Master,需要手动停止Slave角色的Broker,更改配置文件,用新的配置文件启动Broker 消息主从复制 如果一个Broker组有Master和Slave,消息需要从Master复制到Slave上,有同步和异步两个 复制方式 同步复制:等Master和Slave都写入成功后才反馈给客户端成功状态 异步复制:只要Master写入成功后就反馈给客户端成功的状态 配置:通过Broker配置文件中的brokerRole参数进行设置 Master有ASYNC_MASTER,SYNC_MASTER两个配置 Slave只有SLAVE 总结

第1章 Redis介绍 1.1 Redis是什么 Redis是一种基于键值对的NoSQL数据库,与很多键值对数据库不同,redis中的值可以有string,hash,list,set,zset,geo等多种数据结构和算法组成. 因为Redis会将所有的数据都放在内存中,所以他的读写性能非常惊人. 不仅如此,Redis还可以将内存中的数据利用快照和日志的形式保存到硬盘上 Redis还提供了键过期,发布订阅,事务,流水线等附加功能. 1.2 Redis重要特性 1.速度快 Redis所有的数据都存放在内存中 Redis使用C语言实现 Redis使用单线程架构 2.基于键值对的数据结构服务器 5中数据结构:字符串,哈希,列表,集合,有序集合 3.丰富的功能 提供了键过期功能,可以实现缓存 提供了发布订阅功能,可以实现消息系统 提供了pipeline功能,客户端可以将一批命令一次性传到Redis,减少了网络开销 4.简单稳定 源码很少,3.0版本以后5万行左右. 使用单线程模型法,是的Redis服务端处理模型变得简单. 不依赖操作系统的中的类库 5.客户端语言多 java,PHP,python,C,C++,Nodejs等 6.持久化 RDB和AOF 7.主从复制 8.高可用和分布式 哨兵 集群 1.3 Redis应用场景 1.缓存-键过期时间 缓存session会话 缓存用户信息

一、基础环境 系统版本 nginx版本 keepalived版本 ip 作用 CentOS Linux release 7.5.1804 (Core) nginx/1.16.1 keepalived-2.0.18 10.1.1.31 master CentOS Linux release 7.5.1804 (Core) nginx/1.16.1 keepalived-2.0.18 10.1.1.32 slave VIP 10.1.1.111 二、安裝nginx 安裝nignx yum install nginx -y 修改nginx配置文件 master echo 'this is master 31' > /usr/share/nginx/html/index.html slave echo 'this is slave 32' > /usr/share/nginx/html/index.html 启动nginx systemctl start nginx 测试nginx启动 curl localhost this is master 三、安装keepalived 1、 创建依赖环境 yum -y install openssl-devel gcc gcc-c++ mkdir /etc/keepalived wget https://www.keepalived.org

Git安装和使用 一、Git安装过程 双击看到的第一个界面如下图： 01、使用许可声明   点击“Next”进入下图页面： 02、选择安装路径   在输入框内输入想要安装到的本机路径，也就是实际文件夹位置，或点击“Browse…”选择已经存在的文件夹，然后点击“Next”按钮继续，进入下图界面： 03、选择安装组件   上图红框内的选项是默认勾选的，建议不要动。绿色框1是决定是否在桌面创建快捷方式的。绿色框2是决定在所有控制台窗口中使用TrueType字体和是否每天检查Git是否有Windows更新的。这些根据自己需要选择。 点击“Next”按钮进入下图界面： 04、选择开始菜单页   这个界面是创建开始菜单中的名称，不需要修改，直接点“Next”按钮继续到下图的界面： 05、选择Git文件默认的编辑器   这个页面是在选择Git文件默认的编辑器，很少用到，所以默认Vim即可，直接点“Next”按钮继续到下图的界面： 06、调整您的PATH环境   这个界面是调整您的PATH环境。 第一种配置是“仅从Git Bash使用Git”。这是最安全的选择，因为您的PATH根本不会被修改。您只能使用 Git Bash 的 Git 命令行工具。但是这将不能通过第三方软件使用。 第二种配置是“从命令行以及第三方软件进行Git”。该选项被认为是安全的，因为它仅向PATH添加了一些最小的Git包装器

MySQL主从复制 案例概述 在企业网站中，后端MySQL数据库只有一台时，会有以下问题： 单点故障服务不可用 无法处理大量的并发数据请求 数据丢失 改造办法 增加MySQL数据库服务器，对数据进行备份，形成主备 确保主备MySQL数据库服务器数据是一样的 主服务器宕机了，备份服务器继续工作，数据有保障 MySQL的主从复制与读写分离是密切相关的 更高级的解决方案 通过主从复制的方式来同步数据，在通过读写分离提升数据库的并发能力 Amoeba 变形虫 案例实施 1.所有服务器关闭firewalld或者进行规则设置 2.建立时间同步环境 在主服务器上安装ntp时间同步服务器 使用yum安装ntp服务 修改ntp.conf，设置主服务器为时间同步源 在从服务器上进行时间同步 使用yum安装ntpdate并进行时间同步 在三台数据库服务器上安装mysql 编译安装mysql 优化调整 初始化数据库 启动mysql服务并进行root用户密码设置 配置mysql master主服务器 修改/etc/my.cnf配置文件，增加服务器id，配置二进制日志选项 登录mysql服务，授权所有的从服务器复制二进制日志的权限 配置两台从服务器 修改/etc/my.cnf配置文件，增加服务器id，配置二进制日志选项 登录mysql，配置主从同步 实操 实验环境：准备5台centos 7系统的虚拟机

MySQL主从复制与读写分离 一、前言 ​ 前面我们已经对MySQL数据库的安装、命令、备份、索引、事务以及存储引擎等各个方面有了初步的理解，而今天我们将从宏观的角度来理解什么是MySQL数据库的主从复制与读写分离。 二、场景描述 ​ 在实际的生产环境中，如果对MySQL数据库的读与写都在一台服务器上进行操作，无论是在安全性，高可用性、还是高并发性等诸多方面都是无法满足的；而这就需要对MySQL数据库进行主从复制与读写分离。 ​ 我们使用一个架构图来引出MySQL数据库主从复制的原理以及其作用，请看下图： 服务器作用： MySQL主服务器：负责数据的写入； MySQL从服务器：同步主服务器的数据并进行数据的轮循读取； ​ 那么这三台具备相同服务的MySQL服务器就称为“MySQL群集”。我们可以从上图中看出，这样的安排实现数据同步的基础上，实现数据的读写分离，从而在保证数据的可靠性的同时也大大减轻了主服务器的压力。 ​ 下面我们对MySQL的主从复制和读写分离进行逐一介绍并给出配置实例。 三、MySQL主从复制原理 ​ MySQL主从复制与读写分离有着紧密的联系，可以这么说，MySQL的读写分离的实现需要基于主从复制的基础之上。 3.1MySQL支持的复制类型 基于语句的复制；——基于SQL语言命令的复制形式，使用SQL命令执行复制，效率高 基于行的复制；——复制数据库变化的内容

一、启动Kafka集群和flink集群 环境变量配置（注：kafka 3台都需要设置，flink仅master设置就好） [root@master ~]# vim /etc/profile 配置完执行命令： [root@master ~]# source /etc/profile 2.创建执行文件，添加启动服务 [root@master ~] # vim start_kafka.sh 添加（注： 3 台都需要设置）： zookeeper-server-start.sh -daemon $KAFKA_HOME/config/zookeeper.properties & kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties & [root@master ~] # vim start_flink .sh 添加（仅 master 创建即可）： start-cluster .sh 3.分别启动kafka集群 由于kafka集群依赖于zookeeper集群，所以kafka提供了通过kafka去启动zookeeper集群的功能 [root@master ~]# ./start_kafka.sh 4.master启动flink集群 [root@master ~]# ./start_flink.sh 5.验证