raid

Nas 系统的虚拟化方案 https://zhuanlan.zhihu.com/p/55025102 对搞技术的人来说，Nas 是个理想的玩具，既然是程序员用的 Nas ，自然要专业一点，不能像小白一样买台威联通或者群晖往哪里一放就行，如果这样，就没有必要继续往下读了。 就像有人喜欢买成品车，有人喜欢自己改装车；有人喜欢傻瓜相机，有人喜欢机械相机。如果你喜欢 DIY，想让自己家里的硬件发挥更大用途，让自己的 nas 系统更专业些，那么请继续。 有人说，生命的意义在于奉献；还有人说，生命的意义在于付出；然而对于 Nas 玩家来说，生命的意义只有两个字 -- “折腾”。 有人问：“Nas 还能玩出一朵花来？”，答案是：“当然能”，折腾 Nas 第一步就是上虚拟化环境，有这个基础，后面才能更好的搞其他东西。所以今天我们先把 Nas 虚拟化这个纲领性的问题给说清楚说透彻。 Nas 系统为什么要虚拟化？ 首先是让一台物理机可以安装多个不同的隔离的操作系统，Nas 很多都是魔改 Linux，一机多用的话，除了可以自由的安装其他主流 Linux 发行版外，你还能装台 Windows 来跑迅雷。 其次，而对于程序员，往往还需要另外一个干净的标准 Linux 发行版作为一个开发/折腾的环境，比如 Ubuntu / Debian / Centos 这些，虚拟化后，你可以自由的折腾你的发行版

DRBD简介 官方文档 DRBD 的全称为： Distributed Replicated Block Device(DRBD) 分布式块设备复制， DRBD 是由内核模块和相关脚本构成，用以构建高可用的集群。其实现方式是通过网络来镜像整个设备。可以把它看作是一种网络 RAID 。它允许用户在远程机器上建立一个本地块设备的实时镜像。 DRBD是如何工作的 （ DRBD Primary ） 负责接收数据，把数据写到本地磁盘并发送给另一台主机 （ DRBD Secondary ） 。另一个主机再将数据存到自己的磁盘中。目前， DRBD 每次只允许对一个节点进行读写访问，但这对于通常的故障切换高可用集群来说已经足够用了，有可能以后的版本支持两个节点进行读写存取。 DRBD 协议说明 1）数据一旦写入磁盘并发送到网络中就认为完成了写入操作。 2）收到接收确认就认为完成了写入操作。 3）收到写入确认就认为完成了写入操作。 DRBD与HA的关系 一个 DRBD 系统由两个节点构成，与 HA 集群类似，也有主节点和备用节点之分，在带有主要设备的节点上，应用程序和操作系统可以运行和访问 DRBD 设备 （ /dev/drbd* ） 。在主节点写入的数据通过 DRBD 设备存储到主节点的设备写入到备用节点的磁盘中。现在大部分的高可用性集群都会使用共享存储，而 DRBD 也可以作为一个共享存储设备

Raid 0：需两个以上硬盘 优势：数据读取写入最快，，比如3快80G的硬盘硬盘使用率100%，做raid0 可用总容量为240G。速度是一样。 缺点：无冗余能力，一块硬盘损坏，数据全无。 建议：做raid0 可以提供更好的容量以及性能，读写速度在RAID中最快，推荐对数据安全性要求不高的使用。 公式：[root@localhost ~]# mdadm -Cv /dev/md0 -l0 -n2 /dev/sd硬盘 Raid 1：需两个以上硬盘最少两个两个增加 优势：镜像，数据安全强，2快硬盘做raid1，一块正常运行，另外一块镜像备份数据，保障数据的安全。一块坏了，另外一块硬盘也有完整的数据，保障运行。 缺点：硬盘使用率为50% 建议：主要用在对数据安全性要求很高，而且要求能够快速恢复被损坏的数据的场合。 公式：[root@localhost ~]# mdadm -Cv /dev/md1 -l1 -n2 /dev/sd硬盘 ****倘若只有两块硬盘推荐做raid1，如果是要求速度快就做raid0 Raid 2： 优势：RAID2对大数据量的输入输出有很高的性能 缺点：在少量数据的输入输出时性能不好 建议：主要用在对数据安全性要求很高，而且要求能够快速恢复被损坏的数据的场合。 公式：[root@localhost ~]# mdadm -Cv /dev/md2 -l2 -n3 /dev

型号：LSI MegaRAID SAS9460-8i 产品类型：NVME/SAS/SATA阵列卡 连接器接口：2个Mini-SAS HDx4 SFF8643 I/O处理器/SAS控制器：SAS 3508 RAID-on-Chip（ROC） RAID功能阵列级别:0,1,5,6,50,60 设备支持：多达240个SAS和/或SATA设备、NVME最大支持24颗 一般接入：线缆X4 NVME 2个设备；X2 NVME 4个设备 主机总线类型：X8通道PCI Express3.1标准 PCI电源：13.5W 总线主控DMA 连接数据传输速率：每端口高达12Gb/s 高速缓冲存储器：2GB缓存 应用场景：视频点播，视频监控，视频制作+编辑，医学影像，高性能计算，数字内容归档和虚拟磁带库，存储设备，文件，网络，数据库和电子邮件服务器 主要RAID数据保护功能：可选择逻辑驱动器作为引导驱动器，快速初始化阵列设置，交错启动的SATA驱动器，支持热插拔，支持全局热备份，在线容量扩展（OCE），在线RAID级别迁移（RLM），单控制器多路径(故障转移),自动重建的热备用驱动器，软坏快管理支持错误恢复，磁盘上的DDF标准配置，自动恢复系统电源阵列中丢失后重建或改建(RLM) 操作系统支持：Microsoft Windows，ContactOracle support foe Oracle

1.磁盘阵列（raid）详解：磁盘阵列，有独立磁盘构成的具有冗余能力的阵列。 raid0：（一种简单的、无数据校验的数据条带化技术）它的性能是所有raid中是最好的。 特点：成本低，高读写性能； 100%的高存储空间利用率； 不提供数据冗余保护，数据一旦损坏，无法恢复； 适用场景：一般适用于对性能要求严格，但对数据安全性和可靠性不高的应用；如视频、音频存储、临时数据缓存空间。 raid1：（镜像存储） 特点：数据完全一致的分别写到工作磁盘和镜像磁盘； 磁盘空间利用率为50%； 数据写入时，响应时间会有所影响，但是读数据时无影响； 提供数据保护，当工作磁盘发生故障，系统自动的从镜像磁盘中读取数据，不影响用户工作； raid5：（最少 3 块盘） 特点：具有很好的扩展性，当磁盘数量增加时，并行操作的能力也随之增长； 可同时存储数据和校验数据，当一个数据盘损坏时，系统可以根据同一条带的其他数据和对应的校验数据来重建损坏的数据； 兼顾存储性能，数据安全和存储成本等因素； raid6：（最少 4 快盘） 特点：不仅支持数据的恢复，还支持检验数据的恢复； 可以保护阵列中两个磁盘失效而造成的数据丢失（校验数据可以分别存储在两个不同的校验盘上，或者分散在所有成员磁盘中；） raid 0 1（先条带，在镜像；本质是对物理磁盘做镜像）兼容了raid0和raid1的优点；磁盘利用率仅50%； raid1

磁盘存储和文件系统1. EXT3 （1）最多只能支持32TB的文件系统和2TB的文件，实际只能容纳2TB的文件系统和16GB的文件（2）Ext3目前只支持32000个子目录（3）Ext3文件系统使用32位空间记录块数量和i-节点数量（4）当数据写入到Ext3文件系统中时，Ext3的数据块分配器每次只能分配一个4KB的块 2.EXT4 EXT4是Linux系统下的日志文件系统，是EXT3文件系统的后继版本。（1）Ext4的文件系统容量达到1EB，而文件容量则达到16TB （2）理论上支持无限数量的子目录（3）Ext4文件系统使用64位空间记录块数量和i-节点数量（4）Ext4的多块分配器支持一次调用分配多个数据块 XFS （1）根据所记录的日志在很短的时间内迅速恢复磁盘文件内容（2）采用优化算法，日志记录对整体文件操作影响非常小（3） 是一个全64-bit的文件系统，它可以支持上百万T字节的存储空间（4）能以接近裸设备I/O的性能存储数据 命令是扫描硬盘是否挂载上。 表示以80表示一个硬盘只能有一个活动分区和3个非活动分区， 80代表着活动分区，操作系统启动的时候从80标记的分区上寻找启动的相关文件， 查看分区表的前512字节，着前512字节起到了保护分区的作用 成二进制转换方式。的前512字节。 磁盘管理分区命令及用法 lsblk:查看块设备的命令。对应的是B开头的设备

一、引言： 　　在一次和同事的讨论中遇到一个这样的问题：有一个hadoop集群，在hbase的put数据出现瓶颈，他们想要把datanode上的磁盘做成RAID 0(比如10块磁盘做成一个RAID 0)，我当时就说这样的做法不太好，但是没有给出充足的理由不好反驳，只是说官方建议每块磁盘做成单独的RAID 0.今天有机会看到《Hadoop 指南》上正好有一块写到hadoop使用RAID的问题。 二、为何不使用RAID？ 　　尽管建议采用RAID(Redundant Array of Independent Disk,即磁盘阵列)作为namenode的存储器以保护元数据，但是若将RAID作为datanode的存储设备则不会给HDFS带来益处。HDFS所提供的节点间数据复制技术已可满足数据备份需求，无需使用RAID的冗余机制。 　　此外，尽管RAID条带化技术(RAID 0)被广泛用户提升性能，但是其速度仍然比用在HDFS里的JBOD(Just a Bunch Of Disks)配置慢。JBOD在所有磁盘之间循环调度HDFS块。RAID 0的读写操作受限于磁盘阵列中最慢盘片的速度，而JBOD的磁盘操作均独立，因而平均读写速度高于最慢盘片的读写速度。需要强调的是，各个磁盘的性能在实际使用中总存在相当大的差异，即使对于相同型号的磁盘。针对某一雅虎集群的评测报告(http://markmail

RAID：处理磁盘冗余 为什么学习？ 1、解决了数据的读写速率 2、解决了磁盘冗余 RAID是什么？ Redundant Arrays of Independent Drivers 冗余 数组 独立的 独立磁盘构成的具有冗余能力的阵列 个别磁盘提供数据所产生加成效果提升整个磁盘系统效能 raid分为哪几类？ 1、外接式磁盘阵列柜 2、内接式磁盘阵列卡 3、软件来仿真实现raid 常见的raid卡型号： 华为SR130 RAID卡 不做缓存 ​ SR430c 做缓存 戴尔H730P 做缓存 ​ H330 不做缓存 raid开卡需要驱动 raid类型： raid0 （不含检验与冗余的条带存储）：至少2块盘，只有按条带存储数 特点：提高数据的存储速度，但是没有备份，不能容灾。可用容量100% 应用场景：对数据要求不高的场景下。 raid1 （不含校验的镜像存储）：至少2块盘，只有镜像 特点：不能解决数据存取速度的问题，但是可容灾。可用容量50% 应用场景：对数据的要求很高的场景下。 *raid5 （数据块级别的分布式校验条带存储）：至少3块盘，可以提高存取速度 特点：存储的有存储数据和校验数据，可以容灾（允许一个盘坏），可用容量是（n-1/n）。 应用场景：折中了Raid0和Raid1的优缺点，可适用于大部分场景。 raid6 至少4块盘，可以提高存储速率 特点

简述raid0 raid1 raid5 三种工作模式的工作原理及特点 RAID，可以把硬盘整合成一个大磁盘，还可以在大磁盘上再分区，放数据 还有一个大功能，多块盘放在一起可以有冗余（备份） RAID整合方式有很多，常用的：0 1 5 10 RAID 0，可以是一块盘和N个盘组合 其优点读写快，是RAID中最好的 缺点：没有冗余，一块坏了数据就全没有了 RAID 1，只能2块盘，盘的大小可以不一样，以小的为准 10G+10G只有10G，另一个做备份。它有100%的冗余，缺点：浪费资源，成本高 RAID 5 ，3块盘，容量计算10*（n-1）,损失一块盘 特点，读写性能一般，读还好一点，写不好 冗余从好到坏：RAID1 RAID10 RAID 5 RAID0 性能从好到坏：RAID0 RAID10 RAID5 RAID1 成本从低到高：RAID0 RAID5 RAID1 RAID10 单台服务器：很重要盘不多，系统盘，RAID1 数据库服务器：主库：RAID10 从库 RAID5RAID0（为了维护成本，RAID10） WEB服务器：如果没有太多的数据的话，RAID5,RAID0（单盘） 有多台，监控、应用服务器，RAID0 RAID5 我们会根据数据的存储和访问的需求，去匹配对应的RAID级别 来源： https://www.cnblogs.com/9yi-girl/p

版本 特点 磁盘个数 可用空间 故障磁盘数 应用环境 RAID0 读写速度快，数据容易丢失 两个 全部 一块 测试，临时性 RAID1 读写速度慢，数据可靠 至少两个，可以 2 的倍数 总容量的一半 一块 装系统 RAID5 读写速度提高，可靠性提高 至少 3 个 (N-1)s 一块 网站 RAID10 读写速度较快，性能高，可靠性高 最少四块 容量是 n/2 两个 放入数据，放入数据库的数据 RAID50 最少六块 （ n/2 ） S 两个 R AID4 缺点：最后一个硬盘损坏 至少三块或更多的磁盘 （n -1 ）* s 可以是一个 R AID6 读取速度快，可靠性高 最少四块 （n -2 ）* s 可以两个 1. 置软件 RAID mdadm 命令 作用：实现软件 R AID ，跟随不同选项作用不同 格式： m dadm [ 选项 ]参数 常用选项 - C 或 —create: 创建一个新的软 RAID, 后面接 raid 设备名称。例如： / dev/md0, /d e v/md1 等 -A 或 —assemble ：加载一个已存在的阵列，后面跟阵列以及设备的名称 - S 或 — stop：停止指定的 RAID 设备 -D 或 — detall：输出指定 RAID 设备的详细信息 -s 或 –scan ：扫描配置文件或 / proc/mdstat 文件来搜索软 RAID