master

Elasticsearch安装 1.ElasticSearch Elasticsearch，基于lucene，隐藏复杂性，提供简单易用的restful api接口、java api接口（还有其他语言的api接口）。 关于elasticsearch的一个传说，有一个程序员失业了，陪着自己老婆去英国伦敦学习厨师课程。程序员在失业期间想给老婆写一个菜谱搜索引擎，觉得lucene实在太复杂了，就开发了一个封装了lucene的开源项目，compass。后来程序员找到了工作，是做分布式的高性能项目的，觉得compass不够，就写了elasticsearch，让lucene变成分布式的系统。 Elasticsearch是一个实时分布式搜索和分析引擎。它用于全文搜索、结构化搜索、分析。 全文检索：将非结构化数据中的一部分信息提取出来,重新组织,使其变得有一定结构,然后对此有一定结构的数据进行搜索,从而达到搜索相对较快的目的。 结构化检索：我想搜索商品分类为日化用品的商品都有哪些，select * from products where category_id=‘日化用品’。 数据分析：电商网站，最近7天牙膏这种商品销量排名前10的商家有哪些；新闻网站，最近1个月访问量排名前3的新闻版块是哪些。 1.1 安装包下载 1）Elasticsearch官网： https://www.elastic.co

主从复制配置 1、修改文件主库和从库文件 vi /etc/my.cnf [mysqld]下加入下面两行，log-bin自己取名，server-id局域网唯一，从库与主库区分(如果只是单向主从，则从库只设置server-id即可，双向主从则需要全部配置) log-bin=mysql-bin server-id=1 2、主库操作 创建从库访问的账户，%为接受所有请求，也可以限定IP地址访问，后面密码自己定义 CREATE USER 'slave'@'%' IDENTIFIED WITH mysql_native_password BY 'password'; 赋予账号复制的权限 GRANT REPLICATION SLAVE ON *.* TO 'slave'@'%'; 刷新权限 flush privileges; 查看主节点的二进制log和位置(Position) SHOW MASTER STATUS; 3、从库操作 CHANGE MASTER TO MASTER_HOST='主库地址', MASTER_USER='slave', MASTER_PASSWORD='password', MASTER_LOG_FILE='binlog.000006', MASTER_LOG_POS=Position; 后面两项为SHOW MASTER STATUS查询出的log名称和position

首先，数据库的读写分离，能让应用对数据库的访问压力下降，较之一台数据库服务器来读写的时候。 2台数据库服务器，1台用来执行写操作，1台用来执行读操作，这样能够分散应用对数据的压力，而且能加强数据库的数据安全性。 所以，面对比较大型的数据读取应用，对其数据库做读写分离，对性能提升是很有好处的。 为什么读写分离可以提高性能？ 物理服务器增加，负荷增加 主从只负责各自的写和读，极大程度的缓解X锁和S锁争用 从库可配置myisam引擎，提升查询性能以及节约系统开销 至于你提到的“master所执行的（写）的所有语句，都会在slave被执行一遍”这个只说对一半，从库同步主库的数据和主库直接写还是有区别的，通过主库发送来的binlog恢复数据，但是，最重要区别在于主库向从库发送binlog是异步的，从库恢复数据也是异步的。 读写分离适用与读远大于写的场景，如果只有一台服务器，当select很多时，update和delete会被这些select访问中的数据堵塞，等待select结束，并发性能不高。 对于写和读比例相近的应用，应该部署双主相互复制。 主要步骤 1.mysql主从数据库设置，master用来做写操作，slave用来做读操作。 主从数据库设置，是指slave会通过mysql的主从复制功能，自动去实时去同步master上的数据变更。（单向的slave copy master） 2

欢迎和大家交流技术相关问题： 邮箱: jiangxinnju@163.com 博客园地址: http://www.cnblogs.com/jiangxinnju GitHub地址: https://github.com/jiangxincode 知乎地址: https://www.zhihu.com/people/jiangxinnju 转自： http://jiajun.iteye.com/blog/899632 原文图片丢失，本文补充图片，优化排版，修正部分错误。 一、简介 History l started by chad walters and jim l 2006.11 G release paper on BigTable l 2007.2 inital HBase prototype created as Hadoop contrib l 2007.10 First useable Hbase l 2008.1 Hadoop become Apache top-level project and Hbase becomes subproject l 2008.10 Hbase 0.18,0.19 released Hbase是bigtable的开源山寨版本。是建立的HDFS之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。

有人把 Git 的分支模型称为它的`‘必杀技特性’'，也正因为这一特性，使得 Git 从众多版本控制系统中脱颖而出。 为何 Git 的分支模型如此出众呢？ Git 处理分支的方式可谓是难以置信的轻量，创建新分支这一操作几乎能在瞬间完成，并且在不同分支之间的切换操作也是一样便捷。 与许多其它版本控制系统不同，Git 鼓励在工作流程中频繁地使用分支与合并，哪怕一天之内进行许多次。 理解和精通这一特性，你便会意识到 Git 是如此的强大而又独特，并且从此真正改变你的开发方式。 分支操作 1、git branch 查看所有分支 2、git branch name 创建分支 Git 是怎么创建新分支的呢？ 很简单，它只是为你创建了一个可以移动的新的指针。 比如，创建一个 testing 分支， 你需要使用 git branch 命令： $ git branch testing 3、git checkout name 切换分支 要切换到一个已存在的分支，你需要使用 git checkout 命令。 我们现在切换到新创建的 testing 分支去： $ git checkout testing 创建一个新的分支，并切换到刚创建的这个分支中，一条命令搞定： $ git checkout -b dev Switched to a new branch 'dev' git checkout 命令加上

今天发现Mysql的主从数据库没有同步 先上Master库： mysql>show processlist; 查看下进程是否Sleep太多。发现很正常。 show master status; 也正常。 mysql> show master status; +-------------------+----------+--------------+-------------------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +-------------------+----------+--------------+-------------------------------+ | mysqld-bin.000001 | 3260 | | mysql,test,information_schema | +-------------------+----------+--------------+-------------------------------+ 1 row in set (0.00 sec) 再到Slave上查看 mysql> show slave status\G Slave_IO_Running: Yes Slave_SQL_Running: No

问题导读： 1.master挂机，传统做法备份必然是以前数据，该如何保证挂机数据与备份数据一致？ 2.分布式系统如何实现对同一资源的访问，保证数据的强一致性？ 3.集群中的worker挂了，传统做法是什么？zookeeper又是如何做的？ 分布式系统的运行是很复杂的，因为涉及到了网络通信还有节点失效等不可控的情况。下面介绍在最传统的 master -workers 模型 ，主要可以会遇到什么问题，传统方法是怎么解决以及怎么用zookeeper解决。 Master节点管理 集群当中最重要的是Master，所以一般都会设置一台Master的Backup。 Backup会定期向Master获取Meta信息并且检测Master的存活性，一旦Master挂了，Backup立马启动，接替Master的工作自己成为Master，分布式的情况多种多样，因为涉及到了网络 通信 的抖动，针对下面的情况: Backup检测Master存活性传统的就是定期发包，一旦一定时间段内没有收到响应就判定Master Down了，于是Backup就启动，如果Master其实是没有down，Backup收不到响应或者收到响应延迟的原因是因为网络阻塞的问题呢？Backup也启动了，这时候集群里就有了两个Master，很有可能部分workers汇报给Master，另一部分workers汇报给后来启动的Backup

pod 的管理 [root@k8s-master ~]# vim pod.yaml apiVersion: v1 kind: Pod metadata: name: nginx-pod labels: app: nginx spec: containers: - name: nginx image: nginx 创建 pod [root@k8s-master ~]# kubectl create -f pod.yaml 查看 pod 信息 [root@k8s-master ~]# kubectl get all po/nginx-pod 1/1 Running 0 1m 查看 pod 的详细信息 [root@k8s-master ~]# kubectl describe po/nginx-pod 删除创建的 pod [root@k8s-master ~]# kubectl delete -f pod.yaml POD 的资源管理 [root@k8s-master ~]# vim pod.yaml apiVersion: v1 kind: Pod metadata: name: nginx-pod labels: app: nginx spec: containers: - name: nginx image: nginx resources: requests: memory: