硬盘

分布式存储 — 硬盘容量不均衡导致的缓存盘寿命急速衰减分析 Ceph 分布式存储在扩展性、可靠性、性能上具备独特的优势，可以实现快速扩展多台服务器，动态伸缩到 PB 级容量，多副本机制保障数据高可靠，数据均衡分布，并发性能高等场景。目前广泛应用于互联网、科研、教育、制造业、政府等诸多领域。 ZStack 云平台目前支持对接 Ceph 分布式存储，使用的是分布式块存储，即使用 librbd 的块设备接口提供给 Qemu 访问，进行云主机、云盘的 IO 读写。 虽然 Ceph 分布式存储具备上述的优势特点，但在实践中，对硬件的选择及配置均存在特别要求，尤其是硬盘、网络上，如果配置不当，存储的可靠性和性能均会受到影响。 最近在日常巡检一套 ZStack 生产环境的 Ceph 分布式存储时，我们发现客户新购的五台服务器的 SSD 寿命损耗存在异常。具体的现象是使用半年后，服务器带外管理界面看到 SSD 的寿命损耗只剩下 89% ，但使用 smartctl 读取介质损耗参数依然显示为 100% 。 此时会很疑惑，到底哪个数据更可靠，如果 SSD 寿命只剩下 89% ，那么如何去调整优化 Ceph 分布式存储？ 问题回顾 针对这个问题，我们回顾一下这套分布式存储的架构。当时采用了新购 + 利旧的方案来部署分布式存储。 相应的配置信息如下： 其中，新购的 5 台机器采用了 Intel Xeon

[转载]Linux缓存机制 来源： https://blog.csdn.net/weixin_38278334/article/details/96478405 linux下的缓存机制及清理buffer/cache/swap的方法梳理 缓存机制介绍 写的很好： https://www.cnblogs.com/kevingrace/p/5991604.html 在Linux系统中，为了提高文件系统性能，内核利用一部分物理内存分配出缓冲区，用于缓存系统操作和数据文件，当内核收到读写的请求时，内核先去缓存区找是否有请求的数据，有就直接返回，如果没有则通过驱动程序直接操作磁盘。 缓存机制优点：减少系统调用次数，降低CPU上下文切换和磁盘访问频率。 cache是高速缓存，用于CPU和内存之间的缓冲； buffer是I/O缓存，用于内存和硬盘的缓冲； CPU上下文切换：CPU给每个进程一定的服务时间，当时间片用完后，内核从正在运行的进程中收回处理器，同时把进程当前运行状态保存下来，然后加载下一个任务，这个过程叫做上下文切换。实质上就是被终止运行进程与待运行进程的进程切换。 Swap用途：Swap意思是交换分区，对应通常我们说的虚拟内存，是从硬盘中划分出的一个分区。当物理内存不够用的时候，内核就会释放缓存区（buffers/cache）里一些长时间不用的程序，然后将这些程序临时放到Swap中

1、 LVM介绍 LVM 是 Logical Volume Manager 的简称，中文就是逻辑卷管理。 物理卷（PV，Physical Volume）：就是真正的物理硬盘或分区。 卷组（VG，Volume Group）：将多个物理卷合起来就组成了卷组，组成同一个卷组的物理卷 可以是同一个硬盘的不同分区，也可以是不同硬盘上的不同分区。我们可以把卷组想象为一 个逻辑硬盘 逻辑卷（LV，Logical Volume）：卷组是一个逻辑硬盘，硬盘必须分区之后才能使用，这个分区我们称作逻辑卷。逻辑卷可以格式化和写入数据。我们可以把逻辑卷想象成 为分区。 物理扩展（PE，Physical Extend）：PE 是用来保存数据的最小单元，我们的数据实际上都 是写入 PE 当中，PE 的大小是可以配置的，默认是 4MB。 2、建立 LVM 的步骤 首先需要把物理硬盘分成分区，当然也可以是整块物理硬盘。 然后把物理分区建立成为物理卷（PV），也可以直接把整块硬盘都建立为物理卷。 接下来把物理卷整合成为卷组（VG）。卷组就已经可以动态的调整大小了，可以把物理分区加入卷组，也可以把物理分区从卷组中删除。 最后就是把卷组再划分成为逻辑卷（LV），当然逻辑卷也是可以直接调整大小的。我们说逻 辑卷可以想象成为分区，所以也需要格式化和挂载。 3、物理卷管理 1、分区 创建方式就是使用 fdisk 交互命令

为什么要做持久化存储? 持久化存储是将 Redis 存储在内存中的数据存储在硬盘中，实现数据的永久保存。我们都知道 Redis 是一个基于内存的 nosql 数据库，内存存储很容易造成数据的丢失，因为当服务器关机等一些异常情况都会导致存储在内存中的数据丢失。 持久化存储分类 在 Redis 中，持久化存储分为两种。一种是 aof 日志追加的方式，另外一种是 rdb 数据快照的方式。 RDB持久化存储 什么是RDB持久化存储 RDB持久化存储即是将redis存在内存中的数据以快照的形式保存在本地磁盘中。 .RDB持久化存储分为自动备份和手动备份 1.手动备份通过 save 命令和 bgsave 命令。save是同步阻塞，而 bgsave 是非阻塞(阻塞实际发生在 fork 的子进程中)。因此，在我们实际过程中大多是使用bgsave命令实现备份. redis> SAVE OK redis> BGSAVE Background saving started 2.自动备份 a.修改配置项 save m n即表示在 m 秒内执行了 n 次命令则进行备份. b.当Redis 从服务器项主服务器发送复制请求时，主服务器则会使用 bgsave命令生成 rbd 文件，然后传输给从服务器. c.当执行 debug reload 命令时也会使用 save 命令生成rdb文件. d.当使用

Raid工作原理及优缺点 Raid 0 Raid1 Raid 5 Raid 6 Raid 1 0 Raid 5 0 Raid 6 0 Raid 0 特点 采用剥离，数据将在几个磁盘上进行分割。数据被分成很多数据块，每一数据块会被写入不同的磁盘。从而， 每一磁盘的工作负荷都得到了降低，这有助于加速数据传输。RAID-0可让磁盘更好地响应，尤其是电子邮件、数据库和互联网应用。实施RAID-0最少需 要两块硬盘。优势：通过把I/O负载分布到多个硬盘上，可提高系统性能。实施简单。需要注意的是：RAID-0不具有数据保护功能，不适合于关键数据。 Raid 1 特点 RAID-1通过磁盘镜像来实现，主要用来确保数据的可靠性。同样的数据将被复制存储到不同的磁盘上，如果某个磁盘出现 故障，还可以在阵列内的某个磁盘上找到相应的数据，因此可以很容易地进行恢复。镜像不但可以创建冗余数据而带来高可用性，还可以保持关键应用的正常运行。 优势：数据读取的性能有所提高，而数据写入性能与单个磁盘没有区别。100％数据冗余意味着某个出现磁盘故障时不需要对数据进行重建。需要注意的是：磁盘容量的低效率使用-在所有RAID类型中费用最高（100％）。 Raid 5 特点 RAID-5通过一种称为奇偶检验的技术保持数据的冗余。在多个磁盘上进行数据剥离时，奇偶位数据也会包括在内并分布于 阵列内的所有磁盘上

原文: 性能调优7：多表连接 - join 在产品环境中，往往存在着大量的表连接情景，不管是inner join、outer join、cross join和full join（逻辑连接符号），在内部都会转化为物理连接（Physical Join），SQL Server共有三种物理连接：Nested Loop（嵌套循环），Merge Join（合并连接）和Hash Join（哈希连接）。这三个物理连接的处理方式不同，分别应用在不同的场景中。 在同一时刻，表连接只能是两表（或者是数据集，也就是表的一部分）之间的连接，通常按照表处于Join操作的位置来区分，把Join操作符前面的表叫做左表，把Join操作符后面的表叫做右表。如果有n个表连接，那么必须进行n-1次关联操作，上一次关联操作的结果作为下一次关联操作的一个数据集。On子句用于设置连接条件，可以决定连接的顺序。 一，嵌套循环 嵌套循环是最基本的Join算法，分为两个循环，内部循环和外部循环，内部循环嵌套在外部循环内部。任何一个连接语句，都包含两个表，内部循环对应内部表，外部循环对应外部表。在图形执行计划中，上面的输入表是外部表，下面的输入表是内部表。 在嵌套循环中，外部循环逐行处理外部表，内部循环针对每一个外部行到内部表中进行查找，以找出所有匹配外部行的数据行。外部循环每输出一行，内部表中所有行都会和外部行进行匹配

关于ROS2GO的一些心得： 我是一个ROS的探索者，在接触ROS一段时间后，意外发现了一个关于ROS2GO的信息，是天之博特的微信公众号发表的。了解介绍ROS2GO的详细内容请查看链接 https://mp.weixin.qq.com/s/x2ow0ABgj6PJWugCn0TqPg ,看完后我决定买一个回来，这样就走上了ros2go的路程。简单来说ROS2GO就是一个装了ROS的Ubuntu系统，好处在于这里面集成了业界几位老师的经验，把ROS的基础环境都搭建好了，给初学者及开发者省了很多时间，也避免了很多错误，盘内有很多相关资料可以参考对初学者来说确实是一个不错的选择（因为时间很宝贵）。但是我在用的过程中还是没有保护好这个珍贵的盘，不知道删除了那个相关的库还是什么东东，我的项目直接爆红。也问了人查了网上的资料可还是没有彻底解决（毕竟自己的功底不厚）。 好在这个启动盘有两个选择Tianbot ROS2GO和Tianbot CD-ROM onFlash，不同在于Tianbot ROS2GO进去可以保存自己的项目，跟正常的电脑使用一样，文件、软件可以自由增删改，而Tianbot CD-ROM onFlash这个是可擦除的，再次启动之后可以还原到本来面目。这个就可以防止初学者把系统改乱（建议初学者初次使用先在CD-ROM中使用一段时间，对ROS有个基础性的了解

RAID是“Redundant Array of Independent Disks“的缩写，称为"独立磁盘冗余阵列"，通常简称为”磁盘阵列（DiskArray）“。通常简单来说，RAID技术就是将多个硬盘按照一定方式有机的组合在一起，形成一个大的硬盘阵列，从而提高硬盘数据的存储性能和数据备份技术。对于用户而言，操作磁盘阵列就像操作一般的单个硬盘一样，而且这样比操作单个硬盘的数据存储速度更快，并具有数据自动备份的机制。 RAID 的初衷主要是为了大型服务器提供高端的存储功能和冗余的数据安全。在系统中，RAID 被看作是一个逻辑分区，但是它是由多个硬盘组成的（最少两块）。它通过在多个硬盘上同时存储和读取数据来大幅提高存储系统的数据吞吐量，而且在很多RAID 模式中都有较为完备的相互校验/恢复的措施，甚至是直接相互的镜像备份，从而大大提高了RAID 系统的容错度，提高了系统的稳定冗余性。 根据组成硬盘的不同方式成为RAID级别（RAID Levels），目前主要的RAID级别有六种（RAID0，RAID1，RAID2，RAID3，RAID4，RAID5），而且还有其中的各种组合，如：RAID10（RAID0和RIAD1的组合），RAID50（RIAD0和RAID5的组合）等等。 为何有RAID技术的存在呢？在数据化快速发展的时代，数据的存储速度，数据的安全性是至关重要的，因此

广州回收硬盘芯片销毁公司，天仁密销电话：+V电:137-1111-1613，对于硬盘芯片销毁、集成电路销毁、主板销毁、线路板销毁、控制器销毁、硬盘销毁、数据设备销毁的销毁(包括消磁)还没有具体明确的管理规定，目前，国家有关主管部门正在考虑制定相应的规范，确保涉密硬盘等存储介质在维修销毁过程中的安全。当前，在涉密计算机使用过程中，涉密存储介质（涉密硬盘、涉密优盘等）的使用和管理环节存在一些安全隐患，尤其是在维修和报废处理上不遵守保密管理规定，缺乏安全保密意识，给涉密数据带来很大的安全风险。 硬盘如何彻底销毁 如今的信息数据化也已经是非常明显的了，大多数的信息都是存储在硬盘当中的，但是对于大多数的公司来讲，他们把这些机密的信息存在硬盘当中，就是为了保证这些资料不会被泄露，同样也需要对他们的资料进行彻底的摧毁，在实际进行销毁的过程当中，可能很多朋友们也都在思考，电子产品销毁公司的硬盘彻底销毁的方法都有哪些？ 目前来看，电子产品销毁公司在进行文件销毁的过程当中，完全可以用刀割盘片的方法直接进行销毁，比如他们可以通过这样的一种方式，让整个硬盘全部都给损坏，基本上也就是，摧毁了整个硬盘上的词条，这样的话，一些小的当然还是有可能有机会被读出来的，但是几率并不是特别大。 格式化往往是电子产品销毁公司最常用的一种做法了，但是大家要注意的就是，在实际进行销毁的过程当中

广州涉密文案数据销毁公司，天仁密销电话：+V电:137-1111-1613， 对于硬盘芯片销毁、集成电路销毁、主板销毁、线路板销毁、控制器销毁、硬盘销毁、数据设备销毁的销毁(包括消磁)还没有具体明确的管理规定，目前，国家有关主管部门正在考虑制定相应的规范，确保涉密硬盘等存储介质在维修销毁过程中的安全。当前，在涉密计算机使用过程中，涉密存储介质（涉密硬盘、涉密优盘等）的使用和管理环节存在一些安全隐患，尤其是在维修和报废处理上不遵守保密管理规定，缺乏安全保密意识，给涉密数据带来很大的安全风险。 硬盘如何彻底销毁 如今的信息数据化也已经是非常明显的了，大多数的信息都是存储在硬盘当中的，但是对于大多数的公司来讲，他们把这些机密的信息存在硬盘当中，就是为了保证这些资料不会被泄露，同样也需要对他们的资料进行彻底的摧毁，在实际进行销毁的过程当中，可能很多朋友们也都在思考，电子产品销毁公司的硬盘彻底销毁的方法都有哪些？ 目前来看，电子产品销毁公司在进行文件销毁的过程当中，完全可以用刀割盘片的方法直接进行销毁，比如他们可以通过这样的一种方式，让整个硬盘全部都给损坏，基本上也就是，摧毁了整个硬盘上的词条，这样的话，一些小的当然还是有可能有机会被读出来的，但是几率并不是特别大。 格式化往往是电子产品销毁公司最常用的一种做法了，但是大家要注意的就是，在实际进行销毁的过程当中