raid

RAID和分布式存储的对比

僤鯓⒐⒋嵵緔 提交于 2020-01-31 01:32:38
传统的存储 ,一般是指用 商用硬盘构建稳固的存储系统,通常会用到RAID技术 ,这是一种被研究的很透彻的存储技术,有大量的相关软硬件,成本已降低到可接受的程度。 分布式存储 ,一般是指用大量廉价的磁盘,通过软件层实现一定的高级功能,如高数据持久性,不停机扩容,异地分布,多租户架构等,往往也可以通过中间件的形式做扩容。 简要介绍下这两种方式的异同。 RAID技术 RAID,通常是硬件实现,也可以软件实现,RAID存储的时候,会有大量的异或运算,软RAID会降蛮多机器性能,不推荐,而实现硬RAID所需的RAID卡,价格也不高,速度和本地硬盘一致。 总结优点: RAID卡比较便宜,成本低 技术成熟,实施方便 运维方便 本地传输,速度快,不存在小文件的问题 总结缺点: 扩展性差,RAID在系统看来,就是磁盘,并不是以接口提供,没法儿做很好的扩展,比如要坐文件杀毒功能,RAID几乎无法支持 扩容难,空间不够用了,必须停机扩容,而这对有7*24要求的单位,几乎是硬伤 对于分布式存储 优势在于: 扩展方便,可以通过软件层,添加需要的功能 容错性强,对于no-share架构的分布式系统,任何一个节点的crash都不会影响其它节点的工作 扩展方便,对于大部分分布式系统,都可以在线扩容 缺点在于: 速度比本地硬盘慢,特别是存储大量小文件的时候,速度巨慢 实施麻烦,需要专业的计算机工程师协助部署

服务器raid常见故障解决方案

你说的曾经没有我的故事 提交于 2020-01-18 11:29:25
Raid磁盘阵列是一种将多块物理硬盘整合成一个虚拟存储的技术,raid模块相当于一个存储管理中间层,上层接收并执行操作系统及文件系统的数据读写指令,下层管理数据在各个物理硬盘上的存储及读写,相对于单独的物理硬盘,raid可以为用户提供更大的独立存储空间,更快的读写速度,更高的数据存储安全及更方便的统一管理模式。Raid磁盘阵列的正常运转是保障服务器中数据正常读写的关键所在。 服务器raid损坏的常见特征: 1.Raid磁盘阵列中有多快物理硬盘指示灯报警。 2.磁盘阵列中显示多块硬盘呈离线状态或丢失状态 3.Raid信息丢失、所有物理硬盘不再是online状态 4.无法进入raid管理界面或查看raid相关信息时死机。 磁盘阵列出现故障的可能原因分析: 1.磁盘阵列中的单块硬盘出现物理故障,可能导致服务器内数据出现一定损坏。 2.Raid数据传输通道不畅或者数据传输模块老化,可能导致服务器内数据出现不一致情况。 3.因服务器系统更新、重启或服务器意外断电导致raid信息丢失或raid模块损坏。这种情况下可能导致服务器数据受到一定破坏。 4.Raid模块升级或重装系统导致raid信息丢失或被重新创建,可能导致服务器数据受到严重破坏。 5.错误插拔磁盘阵列中的物理硬盘或者强制硬盘online/rebuild可能导致服务器数据遭到完全损坏。 数据恢复解决方案:

如何排除服务器中RAID5故障/服务器数据恢复案例

旧时模样 提交于 2020-01-17 01:46:34
由于技术的不断进步,不同型号的服务器出现RAID5故障后,处理方法也不同。 现在大型应用程序的网络拓朴结构,一般都采用C/S结构或B/S结构,至少需要一台装有大型数据库的服务器安放于中心机房。基于对服务器安全性与可靠性的考虑,通常会对服务器的磁盘采用磁盘阵列RAID(Redundant Array of Inexpensive Disk)进行磁盘冗余备份。其中RAID5阵列级别为无独立校验磁盘的奇偶校验磁盘阵列,采用数据分块和独立存取技术,能在同一磁盘上并行处理多个访问请求,同时允许阵列中的任何一个硬盘出现故障。 实际应用中,由于某些不可避免的客观原因,可能会造成一些阵列故障。最常出现的状况就是硬盘自行脱机,联机状态显示为DDD(Defunct Disk Drive,无效磁盘驱动器),硬盘出现物理故障或逻辑故障。如果是物理故障,只有进行硬盘更换;如果是逻辑故障,可以通过有针对性的技术修复,恢复硬盘的在线状态,继续保持其原始阵列中的硬盘数据条带化分布状态,延续数据存储体系的一致性。 但是,对HP的一些老服务器(如HP LH6000)数据的恢复与新服务器(如HP ProLian系列服务器)的数据恢复是不同的。所以不同的服务器对RAID5故障的处理也是不同的。笔者曾接触过两台服务器因意外断电而造成的RAID5阵列卡数据故障,由于采用了不同的策略而解决了问题。 服务器raid阵列故障修复

MegaCli修复RAID5

前提是你 提交于 2020-01-15 10:10:02
背景:IDC异地搬迁,存储用货车拉到新机房上架,很多磁盘本身就坏了或在路上被颠坏,找台换完盘没修复完的机器玩玩~ 注意,以下操作尽量在没有IO操作的情况下进行。 1、查看所有磁盘的状态,这没啥好说的 ./MegaCli64 -PDList -a0 2、有块盘Firmware state是Unconfigured(bad),这是今天要拯救的目标 Enclosure Device ID: 0 Slot Number: 9 Device Id: 8 Sequence Number: 7 Media Error Count: 0 Other Error Count: 0 Predictive Failure Count: 0 Last Predictive Failure Event Seq Number: 0 PD Type: SATA Raw Size: 3.638 TB [0x1d1c0beb0 Sectors] Non Coerced Size: 3.637 TB [0x1d1b0beb0 Sectors] Coerced Size: 3.637 TB [0x1d1b00000 Sectors] Firmware state: Unconfigured(bad) SAS Address(0): 0x5001c4500077d8a9 Connected Port Number: 0

服务器1块硬盘掉线后重建raid5并同步数据

落花浮王杯 提交于 2020-01-14 16:14:37
【服务器数据恢复背景介绍】 一台HP 服务器,挂接一台HP MSA50磁盘阵列,内接5块1TB硬盘,原先结构为RAID5。 使用一段时间后,其中一块硬盘掉线,因RAID5支持一块硬盘出错的冗余保护,所以数据并无出错。接着运行很短时间后服务器出现故障,遂找人维修,维修人员未完全了解情况,将剩下的4块硬盘重新创建了一组全新的RAID5并完全同步完成,导致原来数据全部丢失。 已经有几家数据恢复公司处理过,无法恢复。 · 【数据恢复故障分析】 HP SMART ARRAY在创建一组新的RAID5时,默认会全盘重建所有块校验,也就是说在组成RAID5的任一条带中,总有一个校验块的数据是创建时生成的,相对于原先的有用数据而言,即是破坏的。经过分析,后生成的4块盘RAID5是按双循环,64K块大小,16次条带换校验的方式组织的,也就是说在4块磁盘成员中,大约每隔3M便会有1M的数据是错误的。 同时,分析得知,原先的5块盘RAID5的组成结构为双循环、128K块大小、16次条带换校验。 要想恢复数据,首先必须修复早掉线的硬盘,同时可恢复率仅可恢复到早掉线磁盘与新盘的组合,取决于早掉线盘之后的数据变更是否多。 解决思路是,通过对前后两次组成结构的差异性分析,用之前掉线的盘重新补回之后重建RAID时破坏的校验信息,再虚拟重组RAID,解释文件系统,导出文件。 · 【数据恢复过程记录】 1、备份源介质

IDC机房的相关常识

守給你的承諾、 提交于 2020-01-13 00:28:42
前言:   整理下上份工作关于IDC方面的东西,接触到的部分与业界普遍公用的部分。 1.1 IDC机房 1.1.1 带宽计算 带宽流量计算公式: 1 Byte=8bit,1KB=1024B,1MB=1024KB,1GB=1024MB B表示Byte,工业标准是1000. 一般我们家装ADSL宽带,常说1M带宽,我们发现下载速度仅能在120-130K之间,这是为什么呢?是宽带接入公司欺骗我们吗?答:不是的。 因为接入商说宣称的1M宽带的单位是以比特(bit)为单位算的,而我们常说的下载速度是按字节(byte)计算的,因此1Mb=125Kbyte,因此,我们说的下载速度是接入商说的带宽除以8的结果。这样解释后,你应该明白了吧。 1.1.2 IDC机房内部结构图 1.1.3 如何进入机房维护服务器? 一般来说,要先和公司的负责IDC机房客服或销售人员事先打好招呼(邮件或电话),然后才能维护机房。机房一般都不在公司内,而是托管在固定的地点(有温度,湿度指标)。 进入机房前要出示个人身份证,并在他们提供的本子上签字(名字,身份证信息,进入理由及进入时间,维护什么等)。有时会有机房销售或客服人员陪同。签字后,好一点的机房会发给你鞋套,需要套在鞋上,防止灰尘,垃圾带到机房内部影响服务器运行。 1.1.4 进入机房后如何维护具体服务器? 正常情况机房的温度比较低(具体见附录),而且

机房实施纪实

风格不统一 提交于 2020-01-13 00:25:40
前言:   整理下之前项目上关于接触到的IDC机房,及服务器上架操作,以及dell服务器的IPMI配置的相关问题,部分配图来自网络。 一,IDC机房项目图片介绍 服务器DELL R720 二,远程控制卡配置方法 远程控制卡,在服务器没有装操作系统或者操作系统出问题了。用户可以通过连接到远程控制卡来连接服务器,就如同切换到我们的虚拟机界面一样。 (1)按F2进入远程控制卡配置界面 (2)选择最后一项 (3)在F1/F2位置选择disabled,就是为了防止远端键盘不管用的问题。 因为服务器重启的时候,远端服务器并没有显示器界面,系统会提示你选择F1/F2。但是由于服务器重启了,远程连接的话,就会出现无法选择的情况。因此关闭F1/F2,就意味者服务器重启不在与用户进行交互式的选择F1/F2.这也就避免了服务器重启一点因为问题而报错,却卡在了F1/F2选择上的问题。 (4)ESC退出,选择保存更改YES (5)选择界面第二项配置IP网关,只修改IP,网关,子网掩码,然后退出保存修改 iDRAC Settings就是远程控制卡的设置 最后也是保存退出即可 三,配置硬RAID环境 (1)在启动界面当界面提示按CTRL+R的时候进入RAID的设置界面。然后按F2将原来的RAID先删除掉(旧服务器) (2)第二步就是按F2开始创建我们新的RAID了。 (3)选择我们要做成RAID几

RAID0,RAID1,RAID10,RAID5

巧了我就是萌 提交于 2020-01-11 08:46:13
RAID 0 RAID 0即Data Stripping(数据分条技术)。整个逻辑盘的数据是被分条(stripped)分布在多个物理磁盘上,可以并行读/写,提供最快的速度,但没有冗余能力。要求至少两个磁盘。我们通过RAID 0可以获得更大的单个逻辑盘的容量,且通过对多个磁盘的同时读取获得更高的存取速度。RAID 0首先考虑的是磁盘的速度和容量,忽略了安全,只要其中一个磁盘出了问题,那么整个阵列的数据都会不保了。 问:RAID0至少几块盘? 答:RAID0最少要两块硬盘才能实现。 RAID 1 RAID 1,又称镜像方式,也就是数据的冗余。在整个镜像过程中,只有一半的磁盘容量是有效的(另一半磁盘容量用来存放同样的数据)。同RAID 0相比,RAID 1首先考虑的是安全性,容量减半、速度不变。 问:RAID1至少几块盘? 答:RAID1最少要两块硬盘才能实现。 RAID 0+1 为了达到既高速又安全,出现了RAID 10(或者叫RAID 0+1),可以把RAID 10简单地理解成由多个磁盘组成的RAID 0阵列再进行镜像。 问:RAID0+1至少几块硬盘才能实现。 答:RAID0+1至少需要4块盘。 RAID 3和RAID 5 RAID 3和RAID 5都是校验方式。RAID 3的工作方式是用一块磁盘存放校验数据。由于任何数据的改变都要修改相应的数据校验信息

关于raid0,raid1,raid5的区别

本小妞迷上赌 提交于 2020-01-11 08:45:53
1 、RAID 0 放弃冗余追求性能,可以是一块或者多块盘进行组合,组合之后容量没有损失,变成一个大的盘,且读写性能是所有RAID级别中最好的,缺点是没有冗余功能,也没有计算校验码,数据块分布在不同的磁盘上,如果其中有一块盘坏了,所有数据都会丢失并且没有办法恢复(即使其它盘上的数据正确也没有用)。 2 、RAID 1 放弃性能追求冗余,又被称为磁盘镜像,每一个磁盘都具有一个对应的镜像盘,也就是说所有数据都是保存两份,至少两块盘组合(2n),其有效容量减小到总容量的一半,同时这些磁盘的大小应该相等,否则总容量只具有最小磁盘的大小,空间利用率是所有RAID级别中最低的,有100%冗余功能,成本高。 3 、RAID 5 节约成本放弃部分性能和冗余,分布式奇偶校验的独立磁盘结构,至少是三块盘,整合成一个大硬盘后,整合之后容量会损失一块盘(n-1),读写性能一般,介于0和1之间(小于0大于1),因为奇偶校验码保存在不同的磁盘上,所以提高了可靠性,当某一块盘坏了,可以利用奇偶校验码重新将数据还原,属于RAID 0和RAID 1的折中方式。 4 、性能对比 冗余性:RAID 1 > RAID 5 > RAID0 性能:RAID 0 > RAID 5 > RAID1 成本:RAID 1 > RAID 5 > RAID 0 空间利用率:RAID 0 > RAID 5 > RAID 1 来源:

关于hp proliant sl210t服务器raid 1阵列配置(HP P420/Smart Array P420阵列卡配置)

时间秒杀一切 提交于 2020-01-09 13:25:43
hp proliant sl210t服务器,一般都会带有两个阵列卡 一个服务器自带的 Dynamic Smart Array B120i RAID 控制器,一个为Slot卡槽上的 Smart Array P420 控制器 这里我们使用Smart Array P420对服务器的磁盘进行raid 1类型的阵列配置,配置过程如下: 1、服务器开机到如下界面时,选择 F11 进入Boot Menu选项(另有一说,可使用F8进入rail配置,未测试) (这一步是针对服务器,如果是普通HP台式机正确安装普通阵列卡后,启动后直接进入第二步选择) 2、在接下来的界面中,到出现HP Smart Array P420 Controller时,按 F5 进入磁盘阵列配置界面 3、到了raid配置界面时,我们只需要选择那一个raid控制卡、就可以用其配置磁盘阵列了,这里我们选择点击Smart Array P420 4、然后我们再依次点击" Configure --> Create Array -->选择要使用Raid卡的磁盘--> 右下角的Create Array "即可 5、至于raid配置界面,我们选择RAID 1,其他的默认即可,然后点击Create Logical Drive,最后的界面中点击Finish,即完成raid 1的配置。 尊重别人的劳动成果 转载请务必注明出处: http://www