数据持久化

原文地址 消息的可靠性是RabbitMQ的一大特色，那么RabbitMQ是如何保证消息可靠性的呢――消息持久化。 为了保证RabbitMQ在退出或者crash等异常情况下数据没有丢失，需要将queue，exchange和Message都持久化。 queue的持久化 queue的持久化是通过durable=true来实现的。 一般程序中这么使用： Connection connection = connectionFactory . newConnection (); Channel channel = connection . createChannel (); channel . queueDeclare ( "queue.persistent.name" , true , false , false , null ); 关键的是第二个参数设置为true,即durable=true. Channel类中queueDeclare的完整定义如下： /** * Declare a queue * @see com.rabbitmq.client.AMQP.Queue.Declare * @see com.rabbitmq.client.AMQP.Queue.DeclareOk * @param queue the name of the queue * @param durable

其中的fsimage 称为时点备份，又叫磁盘镜像快照，这个是NameNode的一个 持久化的方式之一 ：缺点，在内存数据序列化的时候比较慢 具体的过程：因为我们所知道的NameNode一般是存储在内存中的，并没有和磁盘进行交互，这和redis这类的非关系型数据库差不多，但是内存中的数据总是没有持久化的，那么怎么去持久化呢？就比如我们的NameNode结点数据的持久化过程：先将内存中的数据序列化为二进制字节流，之后将其通过IO的形式存入到计算机的文件系统中，就完成了持久化的过程，具体的如果NameNode需要数据的过程的时候，需要将外存中的字节码文件，反序列化，之后加载到内存中，就可以供NameNode使用了 注意点：时点快照：只会按规定的间隔一段时间之后再去持久化到外存中，如13点，15点，17点。。。。而不是每一秒都在进行持久化，因为这样的话又会频繁的和外存也就是磁盘进行交互，这样数据的获取的时间就会很长了 持久化的方式之二 ：缺点，在数据存入外存的过程不慢，但是当存外存恢复到内存的时候比较慢 edits记录对metadata的操作日志。。。>Redis 即日志编辑方式： 1）数据存入外村会将客户端对服务器中的任何的一条指令都写入到操作日志log这个文件当中 2）数据从外存加载到内存中：直接再执行一遍log中的指令即可。 此方式也是时隔一段规定的时间才回去持久化，而不是实时的

docker Docker 镜像--Dcoker images：类比与类 Docker 仓库--Docker registeries： Docker 容器-- Dcoker conrainers：类比于实例化的对象 仓库（registry）--repo(Repository)-->镜像（按版本区分） 共有库 docker.io 私有库 yum库-->不同repo-->软件（按名字区分） Docker是一个c/s架构的系统，Docker守护进程运行在主机上，然后通过Socket连接从客户端访问，守护进程从客户端接收命令并管理运行在主机上帝额容器。容器，是一个运行环境，就是我们前面说的集装箱。 docker有着比虚拟机更少的抽象层，由于docker不需要实现硬件资源虚拟化。 运行在docker容器上的程序是直接使用的都是实际物理机上的硬件资源。因此在cpu、内存利用率上docker将会在效率上有明显优势。 docker利用的是宿主机的内核，而不需要客户端OS。因此，当新建一个容器时，docker不需要虚拟机易杨重新加载一个操作系统内核。从而避免引寻、加载做操系统内核所返回这个比较浪费时间资源的过程。而新建虚拟机，虚拟机软件需要加载GuestOS，返回新建过程是分钟级别。docker由于直接利用宿主机的操作系统，省略了这个过程，因此docker容器只需要几秒 操作系统：

在引入mapMutations时报错，解决方法： 1：npm install --save-dev babel-plugin-transform-object-rest-spread 2：在package.json文件中引入下面两个插件（该步骤不知道有没有用到） "babel-plugin-transform-runtime": "^6.22.0", "babel-preset-stage-2": "^6.22.0", 3：安装插件后，接着在babel的配置文件 .babelrc 中应用插件 { "presets": [ ["env", { "modules": false }] ], "plugins": ["transform-object-rest-spread"] } 4：重新npm install npm run dev 就可以了 Vuex 解决了多视图之间的数据共享问题。但是运用过程中又带来了一个新的问题是，Vuex 的状态存储并不能持久化。 也就是说当你存储在 Vuex 中的 store 里的数据，只要一刷新页面，数据就丢失了。 引入vuex-persist 插件，它就是为 Vuex 持久化存储而生的一个插件。 不需要你手动存取 storage ，而是直接将状态保存至 cookie 或者 localStorage 中。具体用法如下： 安装： npm install -

使用mysql为例 查看docker hub官方的mysql image 的dockerfile，有这一行：VOLUME /var/lib/mysql -v给volume创建别名 [root@localhost ~]# docker run -d --name mysql1 -v mysql:/var/lib/mysql --name mysql1 -e MYSQL_ALLOW_EMPTY_PASSWORD=true mysql:5.7.26 31584edba6eb9b4aa772076f1c2d73c5eb7b4f1e62dd24b41c68518bdf62e11a [root@localhost ~]# [root@localhost ~]# docker volume ls DRIVER VOLUME NAME local mysql [root@localhost ~]# docker container ls CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 31584edba6eb mysql:5.7.26 "docker-entrypoint.s…" 47 seconds ago Up 46 seconds 3306/tcp, 33060/tcp mysql1 [root@localhost ~]#

https://www.rabbitmq.com/persistence-conf.html RabbitMQ持久化层的目的是在大多数没有配置的情况下提供良好的结果。然而，某些配置有时是有用的。本页面解释如何配置它。建议你在采取任何行动之前把它全部读完。 持久化工作原理 持久化消息和非持久化消息均可被写入磁盘。持久化消息一到达队列就会被写入磁盘，非持久化消息只有在内存压力下才会被写入磁盘。在可能的情况下，持久化消息也保存在内存中，并且仅在内存压力下才从内存中取出。“持久化层”指用于将这两种类型的消息存储到磁盘的机制。 On this page we say "queue" to refer to an unmirrored queue or a queue master or a queue slave. Queue mirroring happens "above" persistence. 持久化层有两个组件：queue index和message store。queue index负责维护给定消息在队列中的位置、是否交付(deliverd)和是否确认(acknowledged)。因此，每个队列都有一个队列索引。(There is therefore one queue index per queue.) message store是消息的key-value存储

reids 是一个 key-value 存储系统，为了保证效率，缓存在内存中，但是 redis 会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，以保证数据的持久化。 所以： redis 是一个支持持久化的内存数据库，可以将内存中的数据同步到磁盘保证持久化。 Redis的持久化策略：2种 rdb: 快照形式是直接把内存中的数据保存到一个dump文件中，定时保存，保存策略。 aof：把所有的对redis的服务器进行修改的命令都存到一个文件里，命令的集合。 RDB： 默认情况下，是快照 rdb 的持久化方式，将内存中的数据以快照的方式写入二进制文件中，默认的文件名是 dump.rdb 　　redis.conf 配置： 　　　　save 900 1 　　　　save 300 10 　　　　save 60 10000 　　默认是如上配置： 900 秒之内，如果超过 1 个 key 被修改，则发起快照保存； 　　300 秒内，如果超过 10 个 key 被修改，则发起快照保存 　　1 分钟之内，如果 1 万个 key 被修改，则发起快照保存 这种方式不能完全保证数据持久化，因为是定时保存，所以当 redis 服务 down 掉，就会丢失一部分数据，而且数据量大，写操作多的情况下，会引起大量的磁盘 IO 操作，会影响性能。 所以，如果这两种方式同时开启，如果对数据进行恢复

一、CSV文件操作 1.1 读操作：csv.read import csv with open("/路径/文件名.csv","r") as csvfile #固定写法，使用open()方法，无需关闭file，'r'表示读操作 read=csv.reader(csvfile) #使用csv.reader()方法，读取文件，返回可迭代类型 for i in read: print i 1.2 写操作：csv.writer import csv with open("/路径/文件名.csv","w") as csvfile #'w'表示写操作，有则修改，无则新建 write=csv.writer(csvfile) write.writerow(data) #写入一行操作，data为可迭代类型，如果为字符串，则单个字符为一个元素 write.writerows(data) #写入多行操作，data中一个元素为一行 1.3 添加数据：csv.read--write 方法1：---------------------------------- import csv list1=[] with open('data.csv','r')as csvfile1: #首先---读取数据 read=csv.reader(csvfile1) for i in read: list1.append(i)

容器中数据持久化主要有两种方式： 数据卷（Data Volumes） 数据卷容器（Data Volumes Dontainers） 数据卷 数据卷是一个可供一个或多个容器使用的特殊目录，可以绕过UFS（Unix File System）。 数据卷可以在容器之间共享和重用 对数据卷的修改会立马生效 对数据卷的更新，不会影响镜像 数据卷默认会一直存在，即使容器被删除 一个容器可以挂载多个数据卷 注意：数据卷的使用，类似于 Linux 下对目录或文件进行 mount。 创建数据卷 示例： 执行如下命令即可查看容器构造的详情： docker inspect 容器ID 由测试可知： Docker会自动生成一个目录作为挂载的目录。 即使容器被删除，宿主机中的目录也不会被删除。 删除数据卷 数据卷是被设计来持久化数据的，因此，删除容器并不会删除数据卷。如果想要在删除容器时同时删除数据卷，可使用如下命令： docker rm -v 容器ID 这样既可在删除容器的同时也将数据卷删除。 挂载宿主机目录作为数据卷 这样既可将宿主机的/host-dir路径加载到容器的/container-dir中。 需要注意的是： 宿主机路径尽量设置绝对路径――如果使用相对路径会怎样？ 测试给答案 如果宿主机路径不存在，Docker会自动创建 TIPS Dockerfile暂时不支持这种形式。 挂载宿主机文件作为数据卷

作者： @翁呀伟呀 授权本站转载 概论 所谓的持久化，就是将数据保存到硬盘中，使得在应用程序或机器重启后可以继续访问之前保存的数据。在iOS开发中，有很多数据持久化的方案，接下来我将尝试着介绍一下5种方案： plist文件（属性列表） preference（偏好设置） NSKeyedArchiver（归档） SQLite 3 CoreData 沙盒 在介绍各种存储方法之前，有必要说明以下沙盒机制。iOS程序默认情况下只能访问程序自己的目录，这个目录被称为“沙盒”。 1.结构 既然沙盒就是一个文件夹，那就看看里面有什么吧。沙盒的目录结构如下： 1 2 3 4 5 6 "应用程序包" Documents Library Caches Preferences tmp 2.目录特性 虽然沙盒中有这么多文件夹，但是没有文件夹都不尽相同，都有各自的特性。所以在选择存放目录时，一定要认真选择适合的目录。 "应用程序包": 这里面存放的是应用程序的源文件，包括资源文件和可执行文件。 1 2 NSString *path = [[NSBundle mainBundle] bundlePath]; NSLog(@"%@", path); Documents: 最常用的目录，iTunes同步该应用时会同步此文件夹中的内容，适合存储重要数据。 1 2 NSString *path =