数据库集群

Ŀ¼ > Postgresql集群搭建手册 1 Postgresql集群搭建手册 2 一、软件安装预先准备工作 2 二、Postgresql安装 (附带PostgreGIS安装) 3 2.1 potgresql安装 3 2.2 postgres常见错误说明 9 三、PostgreGIS安装 postGIS 12 四．Postgresql数据库备份与恢复 16 五．postgresSQL集群重启 17 Linux离线情况下添加依赖包 Linux (以centos为例) 1.查看是否挂在镜像 cd /mnt/cent/ ls 结果显示： 2.挂在linux系统镜像文件【Centos镜像】 vi /etc/yum.repos.d/CentOS-Media.repo 结果如下图： 3.从镜像中安装需要的依赖包：这里安装gcc*依赖包 结果出现;complicated!!表明安装成功 （1）挂载centos镜像的命令: (2)查看是否挂在成功 mount //查看最后一行，指定挂载路径下是否有该文件 //如下为具体操作，但是只是本次生效，重启后无效 { df //查看当前系统的文件系统情况（分盘分区） cd ~ //进入用户目录 ls /mnt/cent/ mount -o loop /mnt/cent/ CentOS-6.8-x86_64-bin-DVD1.iso vim /etc/yum

quartz2.2.1集群调度机制调研及源码分析 引言 quartz集群架构 调度器实例化 调度过程 触发器的获取 触发trigger: Job执行过程: 总结: 附： 引言 quratz是目前最为成熟,使用最广泛的java任务调度框架,功能强大配置灵活.在企业应用中占重要地位.quratz在集群环境中的使用方式是每个企业级系统都要考虑的问题.早在2006年,在ITeye上就有一篇关于quratz集群方案的讨论: http://www.iteye.com/topic/40970 后来有人总结了三种quratz集群方案: http://www.iteye.com/topic/114965 1.单独启动一个Job Server来跑job，不部署在web容器中.其他web节点当需要启动异步任务的时候，可以通过种种方式(DB, JMS, Web Service, etc)通知Job Server，而Job Server收到这个通知之后，把异步任务加载到自己的任务队列中去。 2.独立出一个job server，这个server上跑一个spring+quartz的应用，这个应用专门用来启动任务。在jobserver上加上hessain，得到业务接口，这样jobserver就可以调用web container中的业务操作，也就是正真执行任务的还是在cluster中的tomcat

Greenplum数据库集群 首选操作系统 Red Hat Enterprise Linux (RHEL)是首选操作系统。应该使用最新的受支持的主版本，当前是RHEL 6。 我使用的系统版本：centos7.6 文件系统 XFS是Greenplum数据库数据目录的最佳实践文件系统。XFS应该用下列选项挂载： rw,noatime,inode64 端口配置 ip_local_port_range 应该被设置为不与Greenplum数据库端口范围冲突。例如： net.ipv4.ip_local_port_range = 3000 65535 PORT_BASE=2000 MIRROR_PORT_BASE=2100 REPLICATION_PORT_BASE=2200 MIRROR_REPLICATION_PORT_BASE=2300

MongoDB （面试题+答案领取方式见个侧边栏） 你说的 NoSQL 数据库是什么意思?NoSQL 与 RDBMS 直接有什么区别?为什么要使用和不使用NoSQL 数据库?说一说 NoSQL 数据库的几个优点? NoSQL 数据库有哪些类型? MySQL 与 MongoDB 之间最基本的差别是什么? 你怎么比较 MongoDB、CouchDB 及 CouchBase? MongoDB 成为最好 NoSQL 数据库的原因是什么? 32 位系统上有什么细微差别? journal 回放在条目(entry)不完整时(比如恰巧有一个中途故障了)会遇到问题吗? 分析器在 MongoDB 中的作用是什么? 名字空间(namespace)是什么? 如果用户移除对象的属性，该属性是否从存储层中删除? 能否使用日志特征进行安全备份? 允许空值 null 吗? 更新操作立刻 fsync 到磁盘? 如何执行事务/加锁? 为什么我的数据文件如此庞大? 启用备份故障恢复需要多久? 什么是 master 或 primary? 什么是 secondary 或 slave? 我必须调用 getLastError 来确保写操作生效了么? 我应该启动一个集群分片(sharded)还是一个非集群分片的 MongoDB 环境? 分片(sharding)和复制(replication)是怎样工作的?

######mysql###### 1.mysql的主从复制 1)下载mysql的rpm包 tar xf mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar 2)安装需要的包 yum install -y mysql-community-client-5.7.24-1.el7.x86_64.rpm mysql-community-common-5.7.24-1.el7.x86_64.rpm mysql-community-libs-5.7.24-1.el7.x86_64.rpm mysql-community-libs-compat-5.7.24-1.el7.x86_64.rpm mysql-community-server-5.7.24-1.el7.x86_64.rpm #安装后会替换mariadb相关的库文件 #server2也需要装 3)修改配置文件，配合官方文档看 负责在主、从服务器传输各种修改动作的媒介是主服务器的二进制变更日志，这个日志记载着需要传输给从服务器的各种修改动作。因此，主服务器必须激活二进制日志功能。从服务器必须具备足以让它连接主服务器并请求主服务器把二进制变更日志传输给它的权限 vim /etc/my.cnf log-bin=mysql-bin ##文档最后加，二进制日志复制，id号来区分主机 server-id=1 4

mariadb数据库集群 　　mariadb主从 　　　　主从多用于网站架构，因为主从的同步机制是异步的，数据的同步有一定的延迟性，也就是说可能会导致数据丢失，但是性能比较好，因此网站大多数 　　　　用的是主从架构的数据库，读写分离必须基于主从架构来搭建。 　　　　异步：提高效率，但是数据的安全性没有保证。 　　　　同步：安全性高，但是效率不高 　　　　增删改不多的情况下可以去使用主主架构。主主——预防单点故障。 　　主从架构：一主多从、一主一从 　　　　Master建立数据库账号——slave利用这个账号访问master的二进制文件，监控binlog的position。 　　　　主从架构的搭建与配置： 　　　　异步：效率高、安全性低、有延迟 　　　　 同步：效率低、安全性高、无延迟 　　　　主：可读可写（dump thread） 　　　　 从：可读不可写（sql thread 、 i/o thread） 　　@ps：单点故障解决方案： 　　　　 主主架构： 　　　　 互为主备，互相监控对方的二进制文件进行同步 　　　　#note：当两个sql语句发生冲突的时候主主架构有可能出现数据不一致的情况。 　　　　 MHA（master high available） 　　　 #MHA可以有多个配置文件，一个配置文件监控一个主从架构。 　　配置： 　　　　MASTER: 　　　　1

第1章 引言 随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的 互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层 已经成为架构研发人员首选的方式。水平切分数据库，可以降低单台机器的负载，同时最大限度的降低了了宕机造成的损失。通过负载均衡策略，有效的降低了单台 机器的访问负载，降低了宕机的可能性；通过集群方案，解决了数据库宕机带来的单点数据库不能访问的问题；通过读写分离策略更是最大限度了提高了应用中读取 （Read）数据的速度和并发量。目前国内的大型互联网应用中，大量的采用了这样的数据切分方案，Taobao,Alibaba,Tencent，它们大 都实现了自己的分布式数据访问层（DDAL）。以实现方式和实现的层次来划分，大概分为两个层次（Java应用为例）：JDBC层的封装，ORM框架层的 实现。就JDBC层的直接封装而言，现在国内发展较好的一个项目是被称作“变形虫”(Amoeba)的项目，由阿里集团的研究院开发，现在仍然处于测试阶 段（beta版），其运行效率和生产时效性有待考究。就ORM框架层的实现而言，比如Taobao的基于ibatis和Spring的的分布式数据访问 层，已有多年的应用，运行效率和生产实效性得到了开发人员和用户的肯定

至少，Oracle RAC要求Oracle Clusterware软件环境提供一个集群中所有结点对同一份存储和同一套数据文件的并发访问，能实现集群中跨结点进程间通信，实现多个数据库实例处理数据如同数据在本地，并提供一种机制监控集群中结点的状态和联络。以下部分更详细地描述了这些概念： 理解有集群意识的存储解决方案 使用服务和VIP地址连接到Oracle数据库概览 关于Oracle RAC软件组件 关于Oracle RAC后台进程 理解有集群意识的存储解决方案 一个Oracle RAC数据库是一个共享一切的数据库。Oracle RAC环境中的所有数据文件、控制文件、SPFILEs和重做日志文件必须存在于有集群意识的共享磁盘中，以便所有的集群数据库实例能访问这些存储。因为Oracle RAC数据库使用一种共享一切的结构，因此Oracle RAC要求有集群意识的存储保存所有数据库文件。 在Oracle RAC中，Oracle数据库软件管理磁盘访问并经认证在多种存储结构中使用。由用户选择如何配置存储，但是用户要使用一种受支持的有集群意识的存储解决方案。Oracle数据库为Oracle RAC提供以下文件存储选择： Oracle ASM，Oracle公司推荐使用此解决方案来管理用户存储 一种经过认证的集群文件系统，包括OCFS2和OCFS 经认证的NFS文件服务器

mongodb集群故障转移实践 简介 NOSQL有这些优势： 大数据量，可以通过廉价服务器存储大量的数据，轻松摆脱传统mysql单表存储量级限制。 高扩展性，Nosql去掉了关系数据库的关系型特性，很容易横向扩展，摆脱了以往老是纵向扩展的诟病。 高性能，Nosql通过简单的key-value方式获取数据，非常快速。还有NoSQL的Cache是记录级的，是一种细粒度的Cache，所以NoSQL在这个层面上来说就要性能高很多。 灵活的数据模型， NoSQL无需事先为要存储的数据建立字段 ，随时可以存储自定义的数据格式。而在关系数据库里，增删字段是一件非常麻烦的事情。如果是非常大数据量的表，增加字段简直就是一个噩梦。 高可用，NoSQL在不太影响性能的情况，就可以方便的实现高可用的架构。比如mongodb通过mongos、mongo分片就可以快速配置出高可用配置。 支持查询、聚合、完全索引，包含内部对象 支持复制和故障转移、自动恢复 易扩展 在nosql数据库里，大部分的查询都是键值对（key、value）的方式。MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中最像关系数据库的。支持类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。所以这个非常方便，我们可以用sql操作MongoDB，从关系型数据库迁移过来

1、大型网站架构的发展史（红字就是每一步发展历程的关键） （1）从一个小网站发展起来， 一台服务器，应用程序、数据库、文件等所有资源都在一台服务器上 （2）网站业务的发展，一台服务器逐渐不能满足需求，因此要将 应用和数据分离，应用和数据分离后使用三台服务器：应用服务器、文件服务器和数据库服务器 （3）网站进一步发展，数据库压力太大导致访问延迟，因此 使用缓存该改善网站性能（记住，使用缓存是改善网站性能的第一步） ，网站使用的缓存分为两种：缓存在应用服务器上的本地缓存和缓存在专门的分布式缓存服务器上的远程缓存 （4）使用缓存，数据库访问压力得到有效缓解，但是在网站访问高峰期应用服务器还是成为了整个网站的瓶颈。这种时候要理解， 不要企图去更换更强大的服务器，对大型网站而言，不管多么强大的服务器，都满足不了网站持续增长的业务需求 ，因此可以 通过增加服务器的方式改善负载压力 ，再通过负载均衡调度服务器，将来自用户浏览器的访问请求分发到应用服务器集群中的某台服务器上 （5）虽然使用缓存可以使大部分数据不走数据库，但是缓存没有命中、缓存过期的数据还是会走数据库，网站达到一定规模之后，数据库读写压力还是会很大，成为网站的瓶颈。此时可以 使用数据库读写分离来改善数据库负载压力，应用服务器写数据走写库，应用服务器读数据走读库 ，目前大部分主流数据库都提供主从热备功能，通过配置两台数据库主从关系