为什么RAID5往往掉一个盘后第二个盘也立刻挂掉的原因

蒙布丽莎

“但是56%，也就是你用1TB的SATA硬盘做RAID5的话，当你遇到一个硬盘失效的情况，几乎剩下的两个以上硬盘（RAID5最少组合是3个）铁定会遇到一个硬盘读取错误，从而重建失败。
”

事实呢？  “铁定”一词是什么给你的勇气

graybolt

技术贴， 要顶。

nininannan

做R5还是用SAS盘吧

aspire

蒙布丽莎 发表于 2013-8-1 23:55
1。放坏这件事......硬盘是要定期上转的，闲置太久容易损坏

2。Raid5仍可以用，定期校验数据，不要使用同 ...

呵呵，仅仅随便聊聊，不必太认真哈。

硬盘无论是不通电还是作为Hot Spare长期通电，都可能损坏。当你以为做了Raid6又用一块硬盘做了Hot Spare，应该万无一失了，用了几年都没有问题，突然有一天阵列中一块盘挂了，Hot Spare也在之前或者之后跟着牺牲了，紧接着阵列中第二块硬盘又阵亡了......当然这是最悲观的一种可能，但不是没有可能。

所以，Raid6+Hot Spare已经是可靠性很高的方案了，还是会有危险。

至于软Raid（也包括Fake Raid）的可靠性，我不知道有没有人做过理论研究和严格系统的测试。不过我之前有用主板芯片组的Raid功能，配合Windows下的Intel Rapid Raid软件（名称全凭印象，懒得去做Google）做过Raid1，多次遇到因为系统资源耗尽或者系统异常关闭导致两块盘数据不能镜像（冗余），重新开机后需要重新Rebuild，幸运的是曾遇到过主盘系统挂掉，从盘还是完好的情况。所以软Raid的可靠性真的不行，同时又因为系统挂掉时不能把Crash的数据镜像到其他磁盘而减少数据灾难，而如果是硬件Raid，在这种情况下会保证Crash的数据/校验写到每个磁盘导致灾难。从这一点看，软硬是各有优缺点.....anyway考虑到在中高端服务器领域会使用可靠性更高的硬件例如ECC内存，企业级硬盘，冗余电源，ups，高可靠的主板，数据出错的几率大为减少，此时硬件Raid因为有更多的优点，还是硬件Raid胜出，否则那么些服务器、SAN厂商为何不在中高端产品中用软Raid？回到现实中，家用nas中使用硬件Raid可能还是要掂量一下，这不是因为硬Raid卡可靠性不高，恰恰是相对软Raid来说太高了。

至于蓝光做备份，不错啊，不过可以自动化吗？并且对于正在运行中的操作系统例如Linux、ESXi、Windows等该如何备份？

当然我们的讨论如果仅仅限于家用NAS的话，还真的没有太多选择。恐怕比较经济的方案就是软Raid5 + 定期备份重要数据到外置硬盘。

fjyynrose

好文章，收藏了。

fjyynrose

49855177 发表于 2013-7-7 23:05
KALA ,我是菜鸟。前几天见到群晖还喜欢的不得了，看到NAS1的评论贴。不敢用了。
请教个问题：
我有闲置服 ...

服务器当然可以做NAS阵列了。比现在的黑群晖用的材料强多啦

fjyynrose

而且还是硬阵列哦

rv2231

知道了，感谢分享。

蒙布丽莎

aspire 发表于 2013-8-2 11:38
呵呵，仅仅随便聊聊，不必太认真哈。

硬盘无论是不通电还是作为Hot Spare长期通电，都可能损坏。当你以 ...

这里面可能有一个误解，似乎大家都认为软raid是把操作系统也做在raid卷上，实际上这是不太可能的情况，也极不推荐这样做。

如果你的系统不在raid卷上，那么除非掉电，正常通过操作系统或HAL的磁盘IO绝大多数情况下不能对磁盘或阵列卷造成损坏。以安全性最低的Raid 0为例，当初还没有普及SSD的时候，长期使用4枚猛禽通过RST做Raid 0，因为系统超频运行所以极不稳定，蓝屏花屏后掉盘是经常的事。

但这只是一种警告，实际上数据还是很稳健的，从RST控制器或控制台里把掉的盘置为正常即可。最开始我还校验一次数据，但发现从来没有校验出任何错误，后来遇到这种情况也不花那时间去校验了。当然，猛禽的平均无故障时间要高于普通的SATA硬盘，这也是一个因素，但在这个场景里不是主要因素，如果硬盘自身不可靠，你用什么控制器都没用。

所以软raid是稳健的，尤其是ZFS和SS，不依赖任何特定的硬件甚至连接方式。

当然，性能尤其是写入性能上那是天差地别了。

另外作为家用NAS，对于功耗是比较敏感的，至少这个论坛里看起来是这样。那么比较先进但功能简单的HBA卡都有10-20W的待机功耗，而且是被动散热，好像是不能被接受的。像6i、H700之类的老卡更不用说了，放机箱里就是个主要热源。

考虑到万兆网络普及遥遥无期，我看目前够用就好，特别是StorageSpace，非常适合千兆局域网使用。SHR也是非常稳定的其实。掉盘这种事，真的不能从软件上找原因。白DSM看看自己的内存是不是符合Synology的要求以及散热环境、硬盘SMART状态，黑DSM要检查的项目就更多了........

蒙布丽莎

家用Jbod其实也是不错的选择。

至于蓝光能否自动备份，这得看软件了，像HDM server这样的软件是可以直接使用蓝光备份的，至于如何备份要看数据如何在网络中分布了，当然你驱动器里还得有盘才行，可以增量写。

aspire

蒙布丽莎 发表于 2013-8-2 13:12
这里面可能有一个误解，似乎大家都认为软raid是把操作系统也做在raid卷上，实际上这是不太可能的情况，也 ...

你说的误解挺有趣，谁都知道raid卷中可以有操作系统也可以没有。不然一台电脑只有两盘组成的Raid1中如果要安装操作系统，你怎么做，不保护操作系统你安装操作系统的那块硬盘发生物理损坏怎么办？DSM的处理方法是在每个磁盘都装一遍系统，这可不是常规的方法，这种方案只适用于操作系统固化的嵌入式系统，普通的操作系统每时每刻都有数据变更，不Mirror的话怎么保证每一个拷贝的一致性？即使是使用WindowsXP下的RST的Raid1卷绝对包含操作系统，并且容易验证，只要打开磁盘管理就能看到。使用Fake Raid卡时也是同样的。

为了验证，我在虚拟机安装RHES5.2，下面是分区截屏：

                               
登录/注册后可看大图

Grub的安装位置：

                               
登录/注册后可看大图

现在正在安装中等安装完毕我会截屏证明能正常启动，并且使用fdisk和df命令看一下。
_______________________________________________
20130803 7:45更新，没注意创建Raid卷时Swap的卷用的是Raid0，不过这个不影响说明这个。

_______________________________________________
20130803 8:08更新，第一次启动

                               
登录/注册后可看大图

fdisk 和 df命令：

                               
登录/注册后可看大图

——————————————————————————————
说明：其实Linux的root分区不应该在软Raid卷中，否则磁盘损坏后不能启动，这部分只能使用单独的磁盘分区，并且在每个磁盘都要手工建立一个相同的分区，并且手工备份，出现磁盘损坏时需要人工修改grub。

分区

第一次启动

启动后分区情况查看

griffinlam

学习了，看来还是raid1吧

lonelytiger

我一向反对使用RAID5，RAID5根本就不安全。RAID1要好得多，尤其是家庭使用! 我是RAID1 + LVM，重要数据和电影分开放。

aspire

lonelytiger 发表于 2013-8-3 11:27
我一向反对使用RAID5，RAID5根本就不安全。RAID1要好得多，尤其是家庭使用! 我是RAID1 + LVM，重要数据和电 ...

这个做法好。支持

steven_pan

raid 10呢，这个好像也很安全

kernel

好文章。学习了

shaoxb

学习了......

lonelytiger

steven_pan 发表于 2013-8-3 12:35
raid 10呢，这个好像也很安全

和RAID1差不多，简单，安全，高效！

pgsheng

raid的故障率有点被夸大得太厉害了

emaic

pgsheng 发表于 2013-8-4 09:13
raid的故障率有点被夸大得太厉害了

非专业硬盘技术人员，是否被夸大不清楚，我只知道的是，我所接触和调试的服务器，选择raid5和6的很少，基本都是R1，曾经搞过一台算是比较高端的存储，IBM的DS8700，这玩意支持FC磁盘、可加密FC磁盘，SATA盘与固态盘四种类型，当时还特意咨询过IBM的技术支持，回复说，如果一定要做R5，最好使用FC硬盘，SATA是绝对不推荐的，原因就是不安全，长期运行下来故障率高的可怕!