数据持久化

ActiveMQ 扩展出： API 接受发送 MQ 的高可用 MQ 的集群容错配置 MQ 的持久化 延时发送 签收机制 Spring/SpringBoot 整合 等 // MQ 都需要满足的技术 MQ ： 消息中间件/消息队列 为什么要使用 MQ ？ 解决了耦合调用、异步模型、抵御洪峰流量，保护了主业务，消峰。 二、安装ActiveMQ docker环境下安装 [ root@linksys ~ ] # docker pull docker.io/webcenter/activemq Using default tag: latest latest: Pulling from webcenter/activemq 7dcf5a444392: Pull complete 9eebba75a87f: Pull complete 1f0440d87cc7: Pull complete dacd0555c1b4: Pull complete b0f19aa05a94: Pull complete 4796f64423b2: Pull complete 5d994b710cb9: Pull complete 313a84c05d3c: Pull complete 1d6a562461f1: Pull complete e25558998b21: Pull complete

redis持久化 Redis 是一种内存型数据库，一旦服务器进程退出，数据库的数据就会丢失，为了解决这个问题， Redis 提供了两种持久化的方案，将内存中的数据保存到磁盘中，避免数据的丢失。 RDB持久化 redis 提供了 RDB持久化 的功能，这个功能可以将 redis 在内存中的的状态保存到硬盘中，它可以 手动执行 。 也可以再 redis.conf 中配置， 定期执行 。 RDB持久化产生的RDB文件是一个 经过压缩 的 二进制文件 ，这个文件被保存在硬盘中，redis可以通过这个文件还原数据库当时的状态。 RDB(持久化) 内存数据保存到磁盘 在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot） 优点：速度快，适合做备份，主从复制就是基于RDB持久化功能实现 rdb通过再redis中使用save命令触发 rdb rdb配置参数： dir /data/6379/ dbfilename dbmp.rdb 每过900秒 有1个操作就进行持久化 save 900秒 1个修改类的操作 save 300秒 10个操作 save 60秒 10000个操作 save 900 1 save 300 10 save 60 10000 redis持久化之RDB实践 1.启动redis服务端,准备配置文件 daemonize yes port 6379

《MySQL实战45讲》 Rows_examined：https://blog.csdn.net/weixin_34332905/article/details/90683568 恢复数据库：https://blog.51cto.com/laobaiv1/1960846 性能优化：https://www.cnblogs.com/angelica-duhurica/p/11303281.html 1 MySQL有哪些“饮鸩止渴”提高性能的方法 1.1 短连接风暴 解决： 方法1 先处理掉那些占着连接但是不工作的线程。 建议是处理掉查询任务之类的连接，插入的就不处理，避免数据库状态有损 方法2 减少连接过程的消耗。 让数据库跳过权限验证阶段 1.2 慢查询性能问题 在MySQL中，会引发性能问题的慢查询，有以下三种可能： 索引没有设计好； SQL语句没写好； MySQL选错了索引。 1.2.1 索引没有设计好 ⼀般通过紧急创建索引来解决 MySQL 5.6版本以后，创建索引都支持Online DDL了，对于那种高峰期数据库已经被这个语句打挂了的情况，最高效的做法就是直接执行alter table 语句。 比较理想的是能够在备库先执行； 假设现在的服务是⼀主⼀备：主库A、备库B，这个方案的大致流程是这样的： 在备库B上执行 set sql_log_bin=off ，也就是不写binlog

Redis 面试题 1、什么是 Redis? 2、Redis 的数据类型？ 3、使用 Redis 有哪些好处？ 4、Redis 相比 Memcached 有哪些优势？ 5、Memcache 与 Redis 的区别都有哪些？ 6、Redis 是单进程单线程的？ 7、一个字符串类型的值能存储最大容量是多少？ 8、Redis 的持久化机制是什么？各自的优缺点？ 9、Redis 常见性能问题和解决方案？ 10、redis 过期键的删除策略？ 11、Redis 的回收策略（淘汰策略）? 12、为什么 edis 需要把所有数据放到内存中？ 13、Redis 的同步机制了解么？ 14、Pipeline 有什么好处，为什么要用 pipeline？ 15、是否使用过 Redis 集群，集群的原理是什么？ 16、Redis 集群方案什么情况下会导致整个集群不可用？ 17、Redis 支持的 Java 客户端都有哪些？官方推荐用哪个？ 18、Jedis 与 Redisson 对比有什么优缺点？ 19、Redis 如何设置密码及验证密码？ 20、说说 Redis 哈希槽的概念？ 21、Redis 集群的主从复制模型是怎样的？ 22、Redis 集群会有写操作丢失吗？为什么？ 23、Redis 集群之间是如何复制的？ 24、Redis 集群最大节点个数是多少？ 25、Redis 集群如何选择数据库？ 26

Event Event作为kubernetes的一个对象资源，记录了集群运行所遇到的各种大事件,有助于排错，但大量的事件如果都存储在etcd中，会带来较大的性能与容量压力，所以etcd中默认只保存最近1小时,而在日常的kubernetes环境排查过程中有需要借助到event所反映的问题提供思路，所以就需要借助其他工具进行持久化存储 查看Event [ root@master events ] # kubectl get event LAST SEEN TYPE REASON OBJECT MESSAGE 5m27s Warning Unhealthy pod/nginx-8458d4c6b6-6t94d Liveness probe failed: Get http://10.244.1.12:9020/ywpt/health: dial tcp 10.244.1.12:9020: connect: connection refused 45s Warning BackOff pod/nginx-8458d4c6b6-6t94d Back-off restarting failed container 收集event的方案 使用开源项目eventrouter进行收集 项目地址: https://github.com/heptiolabs/eventrouter [ root

关系型数据库与非关系型数据库 关系型数据库： 一个机构化的数据库，创建在关系模型基础上，一般面向于记录 包括oracle,mysql,sqlserver,db2 非关系型数据库： 除了主流的关系型数据库意外的数据库，都人为是非关系型的 包括redis,mongdb,hbase,couhdb 非关系型数据库产生背景 对数据库高并发读写需求 对海量数据高效存储与访问需求 对数据库高可扩展性与高可用需求 Redis简介 Redis基于内存运行并支持持久化 采用key-value（键值对）的存储形式 优点： 具有极高的数据读写速度 支持丰富的数据类型 支持数据的持久化 原子性 支持数据备份 1，安装必要的环境组件，并安装redis [root@localhost ~]# yum install gcc gcc-c++ make -y ##安装环境组件 [root@localhost ~]# mount.cifs //192.168.100.3/LNMP-C7 /mnt/ ##挂载 Password for root@//192.168.100.3/LNMP-C7: [root@localhost ~]# cd /mnt/ [root@localhost mnt]# tar zxvf redis-5.0.7.tar.gz -C /opt/ ##解压 [root@localhost mnt]#

Redis 相关的问题有很多需要注意，本文就大多数问题做了解答。 目录 1.什么是redis? 2.Reids的特点　　 3.使用redis有哪些好处？ 　　 4.redis相比memcached有哪些优势？ 　　 5.Memcache与Redis的区别都有哪些？ 6.redis适用于的场景? 7、redis的缓存失效策略和主键失效机制 8.为什么redis需要把所有数据放到内存中?　 9.Redis是单进程单线程的 10.redis的并发竞争问题如何解决? 11、redis常见性能问题和解决方案： 　　 12.redis事物的了解CAS(check-and-set 操作实现乐观锁 )? 13.WATCH命令和基于CAS的乐观锁? 14.使用过Redis分布式锁么，它是什么回事？ 15.假如Redis里面有1亿个key，其中有10w个key是以某个固定的已知的前缀开头的，如果将它们全部找出来？ 16.使用过Redis做异步队列么，你是怎么用的？ 17.如果有大量的key需要设置同一时间过期，一般需要注意什么？ 18.Redis如何做持久化的？ 19.Pipeline有什么好处，为什么要用pipeline？ 20.Redis的同步机制了解么？ 21.是否使用过Redis集群，集群的原理是什么？ 1.什么是redis? 　　　Redis 是一个基于内存的高性能key-value数据库。

对数据库服务里的数据进行持久化存储，既可以做数据备份，也方便数据传输。 目前主要有两种实现方式： 一.创建快照 Mysql快照 Mysql的dump工具，可以将数据导出为.sql文件，通过这个sql文件，可以作数据恢复。 $ mysqldump -h xxx -uroot -p databasename > ~/data_backup/database.sql Redis的rdb redis客户端下发送save/bgsave指令，会创建rdb文件。默认文件名为dump.rdb 127.0.0.1:6379> save 127.0.0.1:6379> bgsave 注意，如何快速查找dump.rdb位置 1.使用config命令 127.0.0.1:6379> CONFIG GET dir 1) "dir" 2) "/var/lib/redis" 2.通过redis.conf配置文件，找到工作目录dir配置 如何快速找到redis.conf文件?再客户端已连接的情况下使用info server命令 127.0.0.1:6379> info server # Server redis_version:5.0.3 redis_git_sha1:00000000 redis_git_dirty:0 redis_build_id:23238c6957772153 redis_mode

文章目录 临时存储 emptyDir gitRepo 节点存储 hostPath 网络存储 NFS RBD GlusterFS Cinder  应用程序在处理请求时，可以根据当前请求的处理是否受影响于此前的废物请求，将应用划分为无状态应用和有状态应用。在微服务体系中，各种应用均被拆解成了众多的微服务，其中也包括许多有状态的应用，而对于有状态的应用来说，数据持久化几乎是必然之需。  kubernetes提供的存储卷（volume）属于Pod级别，共享于Pod内的所有容器。可以用于在容器的文件系统之外存储应用程序的相关数据，甚至还可以独立于Pod的生命周期之外实现数据持久化。( 简单的来说，kubernetes种存储卷是定义在Pod资源之上、可被其内部的说有容器挂在的共享目录，它关联至外部的存储设备之上的存储空间，从而独立于容器自身的文件系统，而数据是否具有持久的存储能力取决于存储卷自身是否支持持久存储机制。 )  kubernetes支持非常丰富的存储类型，包括本地存储（节点存储）、网络存储系统中的众多存储机制，甚至还支持srcret和ConfigMap这样特殊的存储资源。  对于Pod来说，卷类型的存储是为了关联相关的存储系统时提供相关的配置参数，例如：关联节点本地的存储目录于关联GlusterFS存储系统所需的配置参数差异巨大，因此指定存储类型时也就限定了其关联的后端存储设备。

k8s之数据持久化 kubernetes存储卷： 我们知道默认情况下容器的数据都是非持久化的，在容器销毁以后数据也跟着丢失，所以docker提供了volume机制以便将数据持久化存储。类似的，k8s提供了更强大的volume机制和丰富的插件，解决了容器数据持久化和容器间共享数据的问题。 volume： 我们经常会说：容器和 Pod 是短暂的。 其含义是它们的生命周期可能很短，会被频繁地销毁和创建。容器销毁时，保存在容器内部文件系统中的数据都会被清除。为了持久化保存容器的数据，可以使用k8s volume。 Volume 的生命周期独立于容器，Pod 中的容器可能被销毁和重建，但 Volume 会被保留。 k8s支持的volume类型有emptydir，hostpath，persistentVolumeClaim，gcePersistentDisk，awsElasticBlockStore，nfs，iscsi，gitRepo，secret等等，完整列表及详细文档可参考 http://docs.kubernetes.org.cn/429.html 。 在本文中主要实践以下几种volume类型： 1，EmptyDir（临时存储）： emptyDir 是最基础的 Volume 类型。正如其名字所示，一个 emptyDir Volume 是 Host 上的一个空目录