持久化

什么是数据库状态 redis是一个键值对的数据库服务器，服务器中通常包含中任意个非空的数据库，而每个数据库又可以包含任意个键值对，为了方便起见，我们将服务器中的非空数据库以及他们的键值对统称为数据库状态。 RDB持久化的逻辑 RDB持久化就可以手动执行也可以根据服务器配置选项定期的执行，该功能可以将某个时间点上的数据库状态保存到一个RDB文件中，这个文件其实是一个二进制的文件，通过这个文件可以还原生成RDB文件时的数据库状态。 RDB文件的创建 有两个生成redisRDB文件的命令，一个是SAVE，一个是BGSAVE。 SAVE命令是使用服务器进程来生成RDB文件，在生成RDB文件的时候，会阻塞所有的读写操作，服务器不能处理任何命令请求。 BGSAVE命令是同过服务器进程派生出来一个子进程，然后有子进程负责创建RBD文件，服务器进程可以继续处理命令请求。 其实创建RDB文件的工作都是通过rdbsave函数实现的是不过两种命令以不同的方式调用这个函数。 SAVE命令执行时的服务器状态 其实这个很简单，我们上面已经提到过SAVE命令或阻塞一切请求，当然拥抱口BGSAVE请求了，所以在执行SAVE期间，再次执行BGSAVE命令会被直接拒绝。 BGSAVE命令执行时的服务器状态 我们知道BGSAVE命令是服务器的子进程来完成的，服务器进程可以继续接收和执行命令

原文链接 一.消息目的地策略 在节点destinationPolicy配置策略，可以对单个或者所有的主题和队列进行设置，使用流量监控，当消息达到memoryLimit的时候，ActiveMQ会减慢消息的产生甚至阻塞，destinationPolicy的配置如下： <!-- Destination specific policies using destination names or wildcards --> <!-- wildcards意义见http://activemq.apache.org/wildcards.html --> <destinationPolicy> <policyMap> <policyEntries> <!-- 这里使用了wildcards，表示所有以Msg开头的topic --> <policyEntry topic="Msg.>" producerFlowControl="false" memoryLimit="10mb"> <!-- 分发策略 --> <dispatchPolicy> <!-- 按顺序分发 --> <strictOrderDispatchPolicy/> </dispatchPolicy> <!-- 恢复策略--> <subscriptionRecoveryPolicy> <!-- 只恢复最后一个message -->

一、items保存爬取的文件 items.py import scrapy class QuoteItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() text = scrapy.Field() author = scrapy.Field() tags = scrapy.Field() quote.py # -*- coding: utf-8 -*- import scrapy from toscrapy.items import QuoteItem class QuoteSpider(scrapy.Spider): name = 'quote' allowed_domains = ['quotes.toscrape.com'] start_urls = ['http://quotes.toscrape.com/'] """ 知识点 1. text()获取标签的text 2. @属性 获取属性的值 3. extract()查找多个 extract_first() 查找一个 4. response.urljoin url拼接 5. scrapy.Request(url=_next, callback=self.parse) 回调 """ def parse

P3402 【模板】可持久化并查集 1 #include<bits/stdc++.h> 2 using namespace std; 3 const int maxn = 1e5+5; 4 int n, m; 5 int L[maxn*30], R[maxn*30], fa[maxn*30], dep[maxn*30]; 6 int root[maxn*30]; 7 int cnt; 8 void build(int &rt, int l, int r) { 9 rt = ++cnt; 10 if(l == r){ 11 fa[rt] = l; 12 return ; 13 } 14 int mid = (l+r)/2; 15 build(L[rt],l,mid); 16 build(R[rt],mid+1,r); 17 } 18 void merge(int last, int &rt, int l, int r, int pos, int Fa) { 19 rt = ++cnt; 20 L[rt] = L[last], R[rt] = R[last]; 21 if(l == r) { 22 fa[rt] = Fa; 23 dep[rt] = dep[last]; 24 return; 25 } 26 int mid = (l+r)/2; 27 if(pos <= mid)

14-使用glusterfs做持久化存储 https://www.cnblogs.com/guigujun/p/8366558.html 使用glusterfs做持久化存储 我们复用kubernetes的三台主机做glusterfs存储。 以下步骤参考自： https://www.xf80.com/2017/04/21/kubernetes-glusterfs/ 安装glusterfs 我们直接在物理机上使用yum安装，如果你选择在kubernetes上安装，请参考： https://github.com/gluster/gluster-kubernetes/blob/master/docs/setup-guide.md # 先安装 gluster 源 $ yum install centos-release-gluster -y # 安装 glusterfs 组件 $ yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma glusterfs-geo-replication glusterfs-devel ## 创建 glusterfs 目录 $ mkdir /opt/glusterd ## 修改 glusterd 目录 $ sed -i 's/var\/lib/opt/g' /etc

code: #include <bits/stdc++.h> #define M 1004 #define N 100005 #define setIO(s) freopen(s".in","r",stdin) , freopen(s".out","w",stdout) using namespace std; bitset<M>v[N],uni,oo; int rt[N]; namespace seg { #define lson t[x].ls #define rson t[x].rs int tot; int newnode() { return ++ tot; } struct Node { int ls,rs,id,sum; }t[N*40]; int update(int x,int l,int r,int p,int v) { int now=newnode(); t[now]=t[x]; if(l==r) { t[now].id=v; return now; } int mid=(l+r)>>1; if(p<=mid) { t[now].ls=update(lson,l,mid,p,v); } else { t[now].rs=update(rson,mid+1,r,p,v); } t[now].sum=t[t[now].ls].sum+t[t[now].rs]

原理剖析 Master实际上可以配置两个(防止单点故障)，那么Spark原生的standalone模式是支持Master主备切换的。也就是说，当Active Master节点挂掉时，可以将StandBy master节点切换为Active Master。 Spark Master主备切换可以基于两种机制，一种是基于文件系统的，一种是基于Zookeeper的。基于文件系统的主备切换机制，需要在Active Master挂掉之后，由我们手动切换到StandBy Master上；而基于Zookeeper的主备切换机制，可以自动实现切换Master。 所以这里说的主备切换机制，实际上指的是在Active Master挂掉之后，切换到StandBy Master时，Master会执行的操作。 流程说明： Standby Master模式 1. 使用持久化引擎读取持久化的storeApps、storeDrivers、storeWorkers，持久化引擎有FileSystemPersistenceEngine和ZookeeperPersistenceEngine 2. 判读如果storedApps、storedDrivers、store的Workers有任何一个非空就继续向后执行. 3. 持久化引擎的Application、Driver

原理剖析 Master实际上可以配置两个(防止单点故障)，那么Spark原生的standalone模式是支持Master主备切换的。也就是说，当Active Master节点挂掉时，可以将StandBy master节点切换为Active Master。 Spark Master主备切换可以基于两种机制，一种是基于文件系统的，一种是基于Zookeeper的。基于文件系统的主备切换机制，需要在Active Master挂掉之后，由我们手动切换到StandBy Master上；而基于Zookeeper的主备切换机制，可以自动实现切换Master。 所以这里说的主备切换机制，实际上指的是在Active Master挂掉之后，切换到StandBy Master时，Master会执行的操作。 流程说明： Standby Master模式 1. 使用持久化引擎读取持久化的storeApps、storeDrivers、storeWorkers，持久化引擎有FileSystemPersistenceEngine和ZookeeperPersistenceEngine 2. 判读如果storedApps、storedDrivers、store的Workers有任何一个非空就继续向后执行. 3. 持久化引擎的Application、Driver

原理剖析 Master实际上可以配置两个(防止单点故障)，那么Spark原生的standalone模式是支持Master主备切换的。也就是说，当Active Master节点挂掉时，可以将StandBy master节点切换为Active Master。 Spark Master主备切换可以基于两种机制，一种是基于文件系统的，一种是基于Zookeeper的。基于文件系统的主备切换机制，需要在Active Master挂掉之后，由我们手动切换到StandBy Master上；而基于Zookeeper的主备切换机制，可以自动实现切换Master。 所以这里说的主备切换机制，实际上指的是在Active Master挂掉之后，切换到StandBy Master时，Master会执行的操作。 流程说明： Standby Master模式 1. 使用持久化引擎读取持久化的storeApps、storeDrivers、storeWorkers，持久化引擎有FileSystemPersistenceEngine和ZookeeperPersistenceEngine 2. 判读如果storedApps、storedDrivers、store的Workers有任何一个非空就继续向后执行. 3. 持久化引擎的Application、Driver

原理剖析 Master实际上可以配置两个(防止单点故障)，那么Spark原生的standalone模式是支持Master主备切换的。也就是说，当Active Master节点挂掉时，可以将StandBy master节点切换为Active Master。 Spark Master主备切换可以基于两种机制，一种是基于文件系统的，一种是基于Zookeeper的。基于文件系统的主备切换机制，需要在Active Master挂掉之后，由我们手动切换到StandBy Master上；而基于Zookeeper的主备切换机制，可以自动实现切换Master。 所以这里说的主备切换机制，实际上指的是在Active Master挂掉之后，切换到StandBy Master时，Master会执行的操作。 流程说明： Standby Master模式 1. 使用持久化引擎读取持久化的storeApps、storeDrivers、storeWorkers，持久化引擎有FileSystemPersistenceEngine和ZookeeperPersistenceEngine 2. 判读如果storedApps、storedDrivers、store的Workers有任何一个非空就继续向后执行. 3. 持久化引擎的Application、Driver