持久化

原理剖析 Master实际上可以配置两个(防止单点故障)，那么Spark原生的standalone模式是支持Master主备切换的。也就是说，当Active Master节点挂掉时，可以将StandBy master节点切换为Active Master。 Spark Master主备切换可以基于两种机制，一种是基于文件系统的，一种是基于Zookeeper的。基于文件系统的主备切换机制，需要在Active Master挂掉之后，由我们手动切换到StandBy Master上；而基于Zookeeper的主备切换机制，可以自动实现切换Master。 所以这里说的主备切换机制，实际上指的是在Active Master挂掉之后，切换到StandBy Master时，Master会执行的操作。 流程说明： Standby Master模式 1. 使用持久化引擎读取持久化的storeApps、storeDrivers、storeWorkers，持久化引擎有FileSystemPersistenceEngine和ZookeeperPersistenceEngine 2. 判读如果storedApps、storedDrivers、store的Workers有任何一个非空就继续向后执行. 3. 持久化引擎的Application、Driver

原理剖析 Master实际上可以配置两个(防止单点故障)，那么Spark原生的standalone模式是支持Master主备切换的。也就是说，当Active Master节点挂掉时，可以将StandBy master节点切换为Active Master。 Spark Master主备切换可以基于两种机制，一种是基于文件系统的，一种是基于Zookeeper的。基于文件系统的主备切换机制，需要在Active Master挂掉之后，由我们手动切换到StandBy Master上；而基于Zookeeper的主备切换机制，可以自动实现切换Master。 所以这里说的主备切换机制，实际上指的是在Active Master挂掉之后，切换到StandBy Master时，Master会执行的操作。 流程说明： Standby Master模式 1. 使用持久化引擎读取持久化的storeApps、storeDrivers、storeWorkers，持久化引擎有FileSystemPersistenceEngine和ZookeeperPersistenceEngine 2. 判读如果storedApps、storedDrivers、store的Workers有任何一个非空就继续向后执行. 3. 持久化引擎的Application、Driver

原理剖析 Master实际上可以配置两个(防止单点故障)，那么Spark原生的standalone模式是支持Master主备切换的。也就是说，当Active Master节点挂掉时，可以将StandBy master节点切换为Active Master。 Spark Master主备切换可以基于两种机制，一种是基于文件系统的，一种是基于Zookeeper的。基于文件系统的主备切换机制，需要在Active Master挂掉之后，由我们手动切换到StandBy Master上；而基于Zookeeper的主备切换机制，可以自动实现切换Master。 所以这里说的主备切换机制，实际上指的是在Active Master挂掉之后，切换到StandBy Master时，Master会执行的操作。 流程说明： Standby Master模式 1. 使用持久化引擎读取持久化的storeApps、storeDrivers、storeWorkers，持久化引擎有FileSystemPersistenceEngine和ZookeeperPersistenceEngine 2. 判读如果storedApps、storedDrivers、store的Workers有任何一个非空就继续向后执行. 3. 持久化引擎的Application、Driver

可插拔式：一个插件，安装和写在不影响主程序运行 durable=True　　持久，持续地 | 队列持久化 delivery_mode=2　　消息持久化 import pika import time credentials = pika.PlainCredentials('alex', 'alex123') connection = pika.BlockingConnection(pika.ConnectionParameters( '192.168.14.52',credentials=credentials)) channel = connection.channel() # 声明queue channel.queue_declare(queue='task_queue',durable=True) # n RabbitMQ a message can never be sent directly to the queue, it always needs to go through an exchange. import sys message = ' '.join(sys.argv[1:]) or "Hello World! %s" % time.time() channel.basic_publish(exchange='', routing_key='task

模板题 可持久化就用主席树实现，学习自 这篇博客 #include<bits/stdc++.h> #define N 4000005 using namespace std; int read() { int x=0,f=1;char s=getchar(); while(s<'0'||s>'9'){if(s=='-')f=-1;s=getchar();} while(s>='0'&&s<='9'){x=x*10+s-'0';s=getchar();} return x*f; } int ndnum,n; int fa[N],lc[N],rc[N],dep[N],root[N]; void build(int k,int l,int r)//维护的是fa { if(l==r){fa[k]=l;return;} int mid=(l+r)>>1; build(lc[k]=++ndnum,l,mid); build(rc[k]=++ndnum,mid+1,r); } int query(int k,int L,int R,int pos) { if(L==R) return k; int mid=(L+R)>>1; if(pos<=mid)return query(lc[k],L,mid,pos); else return query(rc[k],mid+1,R,pos); } int

昨天学习了可持久化数据结构。 首先是前面学习的数据结构都是维护“数据集的最新状态”，而可持久化数据结构能够高效地记录一个数据结构的所有历史状态。 可持久化Trie的本质是一张有向图，把每次插入字符串后得到的新节点记录在数组root[1~4]中。那么在可持久化Trie中从root[i]出发能够问到的电和字符指针就组成了又前i个字符串构成的Trie。 如果基于数据结构的内部结构在操作过程中不发生变化，就出来了一种可持久化线段树。 可持久化线段树不再是一颗完全二叉树，所以不能在按层次编号，应该为直接记录每个节点的字左右子节点编号。可持久化线段树维护了每次操作之后线段树的历史形态，其查询操作和一般线段树类似，但难以支持大部分“区间修改”，所以不是我们应用的重点。 然后，又是“区间第k小数”这道题。我天，咋都喜欢研究它，那么多算法。 首先前面就应用过整体分治算法来解决过他它，现在又要用可持久化线段树来解决它，除此之外那，还有归并树以及线段树套平衡树（选择掌握）也可以解决。 我天，这一块的树可真多，做题时我的脑子啊。。 总之，这一章大致算看完了一遍，但我的脑子里第一遍只学会了每种数据结构的基本算法，对他们就相当于刚刚认识，差运用它们还有老远。啊啊啊。 所以这个星期六合周日，我要把这一章再缕一遍，学清楚它们的区别，联系，应用包括优化之类，不一定做这么全面，反正要第二遍认真思考题型一下。 来源：

前言 今天是个开心的日子，又是周末，可以安心轻松的写写文章了。经过了大概3年的DDD理论积累，以及去年年初的第一个版本的 event sourcing 框架的开发以及项目实践经验，再通过今年上半年利用业余时间的设计与开发，我的enode框架终于可以和大家见面了。 自从Eric Evan提出DDD领域驱动设计以来已经过了很多年了，现在已经有很多人在学习或实践DDD。但是我发现目前能够支持DDD开发的框架还不多，至少在国内还不多。据我所知道的java和.net平台，国外比较有名的有：基于java平台的是 axon framework ，该框架很活跃，作者也很勤奋，该框架已经在一些实际商业项目中使用了，算比较成功；基于.net平台的是 ncqrs ，该框架早起比较活跃，但现在没有发展了，因为几乎没人在维护，让人很失望；国内有：banq的 jdon framework 可以支持 DDD+CQRS+EventSourcing的 开发，但是它是基于java平台的，所以对于.net平台的人，没什么实际用处；.net平台，开源的主要就是园子里的晴阳兄开发的 apworks 框架。晴阳兄在DDD方面，在国内的贡献很大，写了很多DDD系列的文章，框架和案例并行，很不错。当然，我所关注的紧紧是c#和java语言的框架，基于scala等其他语言实现的框架也有很多，这里就不一一例举了。

NHibernate]集合类（Collections）映射 系列文章 [Nhibernate]体系结构 [NHibernate]ISessionFactory配置 [NHibernate]持久化类(Persistent Classes) [NHibernate]O/R Mapping基础 引言 这部分不包括大量的.NET代码例子。我们假定你已经了解如何使用.NET自身的集合类框架（.NET's collections framework）和Set集合的概念。其实如果是这样，这里就真的没有什么东西需要学习了....用一句话来做个总结，你就用你已经掌握的知识来使用他们吧。 持久化集合类（Persistent Collections） NHibernate可以持久化以下集合的实例，包括System.Collections.IDictionary,System.Collections.IList,lesi.Collectons.ISet和任何持久实体或值的数组。类型为System.Collections.IList的属性还可以使用“bag”语义来持久。 警告：用于持久化的集合，除了集合接口外，不能保留任何实现这些接口的类所附加的语义（例如：lesi.Collectons.ListSet带来的迭代顺序iteration order)。所有的持久化集合，实际上都各自按照System

网上看到的，记录一下，原文： https://blog.csdn.net/Lee_Ho_/article/details/81014215 一：引言 对于传统关系型数据库，Spring Boot使用JPA（Java Persistence API）资源库来实现对数据库的操作，简单来说，JPA就是为POJO（Plain Ordinary Java Object）提供持久化的标准规范，即将Java普通对象通过对象关系映射（Object Relational Mapping，ORM）持久化到数据库中。 二：使用方式 2.1：JPA配置 为了使用JPA和MySQL，创建Spring Boot的Maven工程，在POM文件当中引入如下依赖： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion>

主要学习的 blog / 整理下可持久化并查集要完成的内容： 1、将一个点的父节点进行更改 （实际上是新增一个信息点）update。 2、查找某个时间点下一个pos对应的信息点编号。 3、查找一个点的父节点。 4、更新一个点的deep值，不用新写函数，可以用3号操作找到编号后++。 5、初始化build。 // #pragma GCC optimize(2) // #pragma GCC optimize(3) // #pragma GCC optimize(4) #include <algorithm> #include <iterator> #include <iostream> #include <cstring> #include <cstdlib> #include <iomanip> #include <bitset> #include <cctype> #include <cstdio> #include <string> #include <vector> #include <stack> #include <cmath> #include <queue> #include <list> #include <map> #include <set> #include <cassert> #include <unordered_map> // #include<bits