企业级阵列卡 Highpoint RR3540/2640

作者：小熊在线—Asimove

Highpoint双卡齐聚

今天评测是两款Raid阵列卡，它们各有特点，市场定位也有明显差异，这就是来自Highpoint的RocketRaid 3540和RocketRaid 2640x4。

HighPoint总部设在Milpitas CA，北京微辰信息技术有限公司做为HighPoint 在中国的唯一子公司。

Highpoint RocketRAID 3540，IOP341称王

RocketRAID 3540 是HighPoint最新推出的一款PCI-E X8的IOP产品，是RocketRAID 3000系列的新成员。它有四个个内置MINI-SAS接口，可以连接16块SATA II磁盘（兼容SATA一代磁盘），此款产品是HighPoint针对中、高端存储市场需求开发推出；RocketRAID 3540采用Intel架构的IOP341处理器，以绝对的运算优势超越同等八盘位RAID卡，使RAID6、RAID5有各自单独的处理单元，大幅度提 升写性能，可适用于非编存储系统，硬盘备份，NAS存储系统，视频编辑和近线存储系统等；

HighPoint的CEO Dr. Michael Whang自豪的宣布：HighPoint和Intel?合作开发的RocketRAID 3540，为世界上速度最快的以Intel? IOP341为主处理器的16通道SATA RAID卡。

Intel服务器平台集团存储事业总经理Mike Wall说：“Intel强大的IOP存储处理器提供多协议支持和跨多种平台的高级数据保护，包括运行RAID 5、RAID6时速度的提升，势必产生出具有突出优势的解决方案。借助 Intel? IOP341 为其主控芯片RR3540体现出的强大功能优势。”

3540的特性概括：

PCI-Express X8, ( 兼容 PCI-E X16)
带有 Intel 80341IOP ( 硬件 XOR设计 )
4 个内置的 Mini-SAS 接口
支持16个 SATA II 或 SATA I 硬盘
支持 RAID 0, 1, 5, 10, 50, 6 和 JBOD 模式
带有 256MB DDR Ⅱ Memory 的 ECC 保护
带有Battery Backup Module (BBU) 数据保护
嵌入Linux kernel tree编译
支持本机命令排序 (NCQ)
支持在线扩容 (OCE) 和在线RAID 迁移 (ORLM)
支持硬盘交错启动功能
硬盘活动灯和失败灯设计 (Activity / Failed) LED
支持SAF-TE 管理功能
支持BIOS启动功能
支持热插拔和热交换
支持Write-through和Write-back缓存
支持S.M.A.R.T.功能，监控硬盘状态提高可靠性
自动重建RAID功能
在线阵列漫游
后台初始化实现快速RAID配置
支持64位LBA高达4TB分区
基于web的RAID管理软件
Linux和FreeBSD操作系统的RAID管理命令队列界面(CLI)
SMTP支持电子邮件通告SMTP
支持的操作系统：Windows，Linux，MAC和 FreeBSD

Raid6 简介

可能家庭用户和PC玩家接触最多的还是Raid 0和Raid 1，而且一般是两块硬盘组建的阵列，而这块定位于企业级服务器应用的Highpoint RocketRAID 3540最大的特点在于支持Raid 6。

RAID 6是由一些大型企业提出来的私有RAID级别标准，它的全称叫“Independent Data disks with two independent distributed parity schemes（带有两个独立分布式校验方案的独立数据磁盘）”。这种RAID级别是在RAID 5的基础上发展而成，因此它的工作模式与RAID 5有异曲同工之妙，不同的是RAID 5将校验码写入到一个驱动器里面，而RAID 6将校验码写入到两个驱动器里面，这样就增强了磁盘的容错能力，同时RAID 6阵列中允许出现故障的磁盘也就达到了两个，但相应的阵列磁盘数量最少也要4个。

从图中我们可以看到每个磁盘中都具有两个校验值，而RAID 5里面只能为每一个磁盘提供一个校验值，由于校验值的使用可以达到恢复数据的目的，因此多增加一位校验位，数据恢复的能力就越强。不过在增加一位校验位 后，就需要一个比较复杂的控制器来进行控制，同时也使磁盘的写能力降低，并且还需要占用一定的磁盘空间。因此，这种RAID级别应用还比较少，相信随着 RAID 6技术的不断完善，RAID 6将得到广泛应用。RAID 6的磁盘数量为N+2个。

技术原理：

RAID 6是直接从RAID 5发展来的，全称是Independent Data Disks with Two Independent Distributed Parity Schemes（带两个独立校验数据的独立硬盘阵列）。和RAID 5相似，RAID 6根据条带化的数据生成校验信息，条带化数据和校验数据一起分散存储到RAID组的每块硬盘上。为了确保在两块硬盘掉线时数据不会丢失，需要两种不同的校 验算法。这样，在两块硬盘掉线时，根据两个不同的校验算法联解方程组，就可以推算出掉线硬盘上的数据，并恢复。

通常的做法是，第一份校验数据采用传统的异或算法生成，另一份校验数据通过一个可逆的函数演算，对运算结果再用异或生成校验数据。目前最常见的实现，是将数据在Galois Field做换算，然后将换算结果用异或操作生成第二份校验数据。

在图1中，以8块硬盘为例，D0、D1、D2、D3、D4和D5是条带化的数据，P代表校验数据，Q是第二份校验数据。

P = D0 ⊕ D1 ⊕ D2 ⊕ D3 ⊕ D4 ⊕ D5
Q = A0 ⊕ A1 ⊕ A2 ⊕ A3 ⊕ A4 ⊕ A5
A0-A5：D0-D5在Galois Field域换算的结果
⊕ ：异或

图1 RAID 6中数据分布示例

在RAID 6中，当有1块硬盘出现故障，采用如下方法恢复数据：

涉及D0-D5，P等内容的条带，利用公式1恢复数据，这个过程和RAID 5一样；
涉及Q域的条带，利用公式2的逆演算恢复数据；
而当有2块硬盘同时出故障的时候，就需要同时用公式1和公式2来恢复数据了。

在图1中，各系数A0-A5是D0~D5的特定函数运算结果，在D0、D1、D2、D3、D4、D5、P、Q中有两个未知数的情况下，可以联立求解两个方程得出两个未知数的值。这样在一个RAID组中有两块硬盘同时坏的情况下，也可以恢复数据。

RAID 6的核心就是有两份检验数据，以保证两块硬盘同时出故障的时候，也能保障数据的安全。由于从RAID 5继承了条带化、分布存储校验数据的特性，RAID 6也能够实现较好的随机IO性能。

Highpoint RocketRAID 3540，附件

RocketRAID 3540容括了HighPoint公司的最尖端技术。“TerabyteStream”拥有智能的数据缓存运算技术，可以运用其内存管理，大量并发数据流。“TerabyteGuard?提供数据保护，同时为企事业单位创造安全的数据存储环境。

RocketRAID 3540 所具有的PCI-Express X8的插槽，帮助实现了数据传送的出众性能。两个128-bit/400 MHz 内置总线，满足各种用户对带宽的更高要求，例如：多媒体服务器、邮件数据库、应用程序服务器。IOP341所拥有的的ADMA处理器，使 RocketRAID 3540有更好的读写性能表现，尤其是在进行RAID 5 和 RAID 6操作时。

RocketRAID 3540的包装中除了卡、用户手册、CD光盘之外，还有四根Mini-SAS to SATA线缆

Mini-SAS to SATA

Highpoint RocketRAID 3540，IOP 80341

RocketRAID 3540 最为显著的一个特点是内置四个MINI-SAS接口，支持在一台机器上插接4块RocketRAID 3540，这样，总的容量就能达到64B，非常适用于大容量存储的行业。

RoeketRAID 3540支持RAID 0, 1, 10, 5, 50和JBOD，当然还有最为重要的RAID 6。其他支持的功能包括在线扩容 （Online Capacity Expansion，OCE）和在线RAID 迁移（Online RAID Level Migration，ORLM），可以快速和背景初始化以方便RAID立刻投入使用，热交换和热备援（hot spare）硬盘驱动器用于自动RAID重建。硬盘驱动器交错启动（Staggered Spin-up）和活动/失败灯（HDD Activity/Failed LED）设计等Serial ATA Ⅱ定义的功能都无需多说， BIOS启动（硬盘或硬盘组）和SAF-TE管理功能也获得支持。

纯铜的柱状散热片后面就是Intel IOP 80341芯片。

RocketRAID 3540所采用的主芯片是Intel IOP 80341，具体数据请参考下面：

??Intel XScale?? 处理器
??1MB的SRAM内嵌入芯片
??基于IOP的RAID 5/6 计算校验
??PCI-X* 和 PCI-Express 8 lane的接口格式
??与Intel? IOP348 I/O 、 Intel? IOC340 I/O 芯片pin to pin兼容
??Intel? Block Protection技术支持从始至终的数据保护
??400/533 MHz的 DDR2 内存通过64位ECC支持到2 GB
??3个DMA的应用单元：XOR, RAID 6 P+Q, CRC32C
??两个128-bit/400 MHz 内置总线，提供超过12 GB/s 内置带宽??

下图应用是Intel IOP处理器的产品概要：

Highpoint RocketRAID 3540，Marvell 88SX6081

Marvell 88SX6081 SATA控制器，Marvell 88SX6081控制芯片提供了8个支持3.0Gb/s（向下兼容1.5Gb/s）和NCQ（Native Command Queuing，本机命令排队）的SATA端口。

两块Marvell 88SX6081 控制芯片，四个符合SFF-8087规范的Mini SAS 4i连接器RocketRAID 3540成为了16端口SATA RAID卡。

256MB DDR2 533带ECC校验缓存。

RocketRAID 3540支持BIOS启动和BBU保护。?

??? BBU主要有以下特点：
??? 1.?当遇到意外情况（如以外断电）时，可利用电池板备份单元（BBU），将数据保存到板卡自带的缓存里面，时间长达3天。
??? 2.?当系统自动重启后，可自动恢复数据。
??? 3.?再充电，可确保BBU正常使用。

BBU图解：

RocketRAID 3540另外一个特点便是Massive Arrays of Idle Disks (MAID) ，也就是当阵列中有空闲硬盘的时候，会自动让其处于休眠状态。这样能有效的降低硬盘磨损率，延长硬盘使用寿命。

Highpoint RocketRAID 3540，接口

四个Mini SAS 4i连接器：

PCI-Express X8接口( 兼容 PCI-E X16) 。

四颗LVC244A负缓器负责上面4组10pin针脚输出。

Xlinx的xc3s100e可编程逻辑器（FPGA）。

Highpoint RocketRAID 3540，背面

PCB背面。

Ramtron的FM1608-120-S6铁电存储器(FRAM)。

边上是AX88796BLF以太网控制器。

RJ45接口，使RocketRAID 3540支持网络管理功能。

Highpoint RocketRAID 2640x4，SAS Raid首选

同时送测的还有一块RocketRAID 2640x4阵列卡。

RocketRAID 2600 系列是高性能的 SAS RAID 控制卡, 给数据密集型行业提供可靠性需求, 例如分层环境 (disk-to-disk or disk-to-disk-to-tape backup), 安全和监视，视频编辑和数字内容创作等。

附件是4根SATA-SAS转接线。

RocketRAID 2640x4看上去很袖珍，但却能满足企业级SAS硬盘的的阵列需要。采用了PCI-Express X4接口( 兼容PCI-EX 8/16) 。

Highpoint RocketRAID 2640x4，SAS简介

SAS(Serial Attached SCSI)即串行连接SCSI，是新一代的SCSI技术，和现在流行的Serial ATA(SATA)硬盘相同，都是采用串行技术以获得更高的传输速度，并通过缩短连结线改善内部空间等。SAS是并行SCSI接口之后开发出的全新接口。此接口的设计是为了改善存储系统的效能、可用性和扩充性，并且提供与SATA硬盘的兼容性。

SAS的接口技术可以向下兼容SATA。具体来说，二者的兼容性主要体现在物理层和协议层的兼容。在物理层，SAS接口和SATA接口完全兼容，SATA 硬盘可以直接使用在SAS的环境中，从接口标准上而言，SATA是SAS的一个子标准，因此SAS控制器可以直接操控SATA硬盘，但是SAS却不能直接使用在SATA的环境中，因为SATA控制器并不能对SAS硬盘进行控制；在协议层，SAS由3种类型协议组成，根据连接的不同设备使用相应的协议进行数据传输。其中串行SCSI协议(SSP)用于传输SCSI命令；SCSI管理协议(SMP)用于对连接设备的维护和管理；SATA通道协议(STP)用于 SAS和SATA之间数据的传输。因此在这3种协议的配合下，SAS可以和SATA以及部分SCSI设备无缝结合。

SAS系统的背板(Backplane)既可以连接具有双端口、高性能的SAS驱动器，也可以连接高容量、低成本的SATA驱动器。所以SAS驱动器和 SATA驱动器可以同时存在于一个存储系统之中。但需要注意的是，SATA系统并不兼容SAS，所以SAS驱动器不能连接到SATA背板上。由于SAS系统的兼容性，使用户能够运用不同接口的硬盘来满足各类应用在容量上或效能上的需求，因此在扩充存储系统时拥有更多的弹性，让存储设备发挥最大的投资效益。

在系统中，每一个SAS端口可以最多可以连接16256个外部设备，并且SAS采取直接的点到点的串行传输方式，传输的速率高达3Gbps，估计以后会有 6Gbps乃至12Gbps的高速接口出现。SAS的接口也做了较大的改进，它同时提供了3.5英寸和2.5英寸的接口，因此能够适合不同服务器环境的需求。SAS依靠SAS扩展器来连接更多的设备，目前的扩展器以12端口居多，不过根据板卡厂商产品研发计划显示，未来会有28、36端口的扩展器引入，来连接SAS设备、主机设备或者其他的SAS扩展器。

和传统并行SCSI接口比较起来，SAS不仅在接口速度上得到显著提升(现在主流Ultra 320 SCSI速度为320MB/sec，而SAS才刚起步速度就达到300MB/sec，未来会达到600MB/sec甚至更多)，而且由于采用了串行线缆，不仅可以实现更长的连接距离，还能够提高抗干扰能力，并且这种细细的线缆还可以显著改善机箱内部的散热情况。

Highpoint RocketRAID 2640x4，芯片

2640x4的基本特点：

支持 RAID 0,1,5,10 和 JBOD
支持多组 RAID
支持多个逻辑盘
支持BIOS启动
在线RAID漫游
自动侦测加入/移除磁盘与自动磁盘阵列重建
自动 RAID 重建
支持64位LBA，提供可大于2TB的磁盘空间
支援S.M.A.R.T数组监控,可了解硬盘的状态和可靠度
TerabyteGuard ? for data protection and reliability
坏扇区修复和重测以减少掉盘

Marvell 88SE6445 SAS控制器，支持 RAID 0,1,5,10 和 JBOD，提供四个内置SAS/SATA 接口。

AT25f2048n SPI Serial Memory（串行Flash存储器）。

Highpoint RocketRAID 2640x4，接口

4个内置SATA/SAS接口。

而在防火上，PCB板通过了了94V-0的标准，长时间工作也不怕。这里的一些针脚主要是信号输出和其他管理功能，比较少直接使用。

Highpoint RocketRAID，Bios界面

3540/2640的BIOS界面类似，所以一起学习下：

开机经过硬件自检后，按Ctrl+H可进入Bios管理界面，RocketRAID的Bios界面设定还是很人性化的，和许多成熟的Raid界面相仿，可以看到目前已有Raid信息。

物理磁盘信息。

顶端的菜单可以初始化、重建、删除、查看阵列信息。

阵列设置：

Highpoint RocketRAID 3540，测试环境

由于Raid 5和Raid 6测试所需的硬盘数量不足，我们暂且看看Highpoint RocketRAID 3540搭载的双硬盘Raid 0性能如何，我们使用了2块希捷Barracuda ES.2 1TB企业级硬盘。

装上Raid驱动以后，系统就能认出2TB逻辑硬盘。

测试配置：

测试软件：分别用FDbench1.01\HD Tach3.0.1.0\HD Tune2.53\ATTO DiskBench3.2\c't h2benchw这五款软件测试，另外使用WOW（魔兽世界中文版2.3）游戏目录进行实际拷贝测试，大家可以选择熟悉数据的进行参考。

ATTO Disk Benchmark
是一款比较流行的硬盘测试工具，也是这次测试中最重要的软件。ATTO Disk Benchmark是由ATTO公司出品的一款磁盘/网络性能测试工具，该软件使用了64KB—256MB的测试包，数据包按0.5K、1.0K、 2.0K直到到8192KB进行分别读写测试，测试完成后数据用柱状图的形式表达出来。很好的说明了文件大小比例不同对磁盘速度的影响。我们是用的是 32MB测试包检验0.5—1024KB的读写速度。

HD Tach
是一款小巧、使用方便、测试时间短的测试程序，它可以在短时间内测试出随机访问时间、读取速率、写入速率、突发读取速率和CPU占用率。利用它我们还可以 得到读取性能曲线和写入性能曲线（3.0以上版本取消了写入测试）。可以直观的得到测试产品在数据存取过程中的数据。在这次测试中我们使用HD Tach V3.0.1.0版本。

HD Tune
小巧易用的硬盘工具软件，其主要功能有硬盘传输速率检测，健康状态检测，温度检测及磁盘表面扫描等。另外，还能检测出硬盘的固件版本、 序列号、容量、缓存大小以及当前的Ultra DMA模式等。虽然这些功能其它软件也有，但难能可贵的是此软件把所有这些功能积于一身，而且非常小巧，速度又快，更重要的是它是免费软件，可自由使用。

FDBENCH
是日本开发的一套测试磁盘传输效率的应用程序，它可以测试磁盘读取、写入、随机读取、随机写入、以及复制文件等功能。测试项目更接近日常使用情况，相比较ATTO，它的成绩更适合作为选购产品的参考，而ATTO则更倾向于测试极限读取性能。

c't h2benchw 3.6

H2benchw 3.6是德国C't电脑技术网站的硬盘性能测试软件，有Windows和Linux版本，采用命令行方式执行测试。

H2bench测试的时候，完全忽略系统的磁盘分区，直接对硬盘进行访问，因此硬盘上原来如果有数据的话，在进行写操作（例如测试写入速度分布图） 的时候会完全丢失。H2bench包含有界面传输速度、数据完整性检查、读写速度分布图、访问时间以及应用程序I/O动作重放等测试。

可能 有网友要问，这四款软件有什么不同，为什么要同时使用四款软件，其实他们各有特色，但是主要功能还是类似的，就是测试存储性能。将四种软件测试都进行，并 不是为了给自己找麻烦，主要考虑到不同软件对不同读卡器、不同卡的兼容性不一样，表现出的差异有时无法解释，故而将所有数据放上以求避免兼容性带来误差。 另外，也是考虑到网友会习惯使用某种软件，或者有所偏爱，多个项目的成绩参考也可以自由取舍。

至于WOW文件实际拷贝，主要是测试实际读写的感受，这个文件夹包括了视频、音频、图像、数据等各种类型文件，文件体积大小差异明显。这样的拷贝和平常使用硬盘习惯相仿，超过8GB的数据量也足以保证数据可信度。

Highpoint RocketRAID 3540，速率测试1

ATTO DiskBench，写入198.4MB/s（稳定成绩201MB/s），读取208.9MB/s。作为双硬盘Raid0，这是前所未有的成绩，虽然主要归功于硬盘平均读写速度的提升，但是3540的表现也非常不错，几乎达到了单盘的2倍读写速率。

3540 Raid0

单盘成绩：

Barracuda ES.2

HD Tach测试（红色）：突发—1107.3MB/s，平均171.2MB/s，平均访问时间12.7ms，CPU占用5%左右。可以看出曲线非常稳定，没有太多离散性的波动。

对比蓝色的Es.2曲线，Raid0的平均读取速度仍然比Es.2单盘高一倍左右。

Highpoint RocketRAID 3540，速率测试2

日本权威的FD Bench软件：读取—204.4MB/s，写入—198.4MB/s，写入速度和ATTO有些差距，但是比较接近实际性能。

3540 Raid0

单盘成绩：

Barracuda ES.2

HD Tune测试：平均161.6MB/s，最大285.6MB/s，突发738.4MB/s。曲线和HD Tach类似，一致性非常好。

3540 Raid0

单盘成绩：

Barracuda ES.2

Highpoint RocketRAID 3540，c't h2benchw综合测试

RR 3540 Raid 0的各项性能：

主要信息：

Capacity: CHS=(0/0/0), 3906718830 sectors = 1907578 MByte

接口速率（0.0%位置）——连续读取：196.1MB/s，带预读的顺序传输率（0.35ms）：737.3MB/s，重复数据读取（"core test"）：891.1MB/s

持续传输速率 (block size: 128 sectors):
读取——平均： 159775.9,，最小：101235.6，最大：200988.3 [KByte/s]

随机访问时间（全盘）——平均：10.49，最小：2.68，最大：24.39 [ms]
随机访问时间 (<504 MByte)——平均：6.18，最小：0.03，最大：12.35 [ms]

这是单碟的成绩：

Barracuda ES.2

Disk: ST31000340NS Capacity: CHS=(0/0/0), 1953540065 sectors = 953867 MByte

接口速率（0.0%位置）——连续读取：98.2MB/s，带预读的顺序传输率（0.70ms）：191.5MB/s，重复数据读取（"core test"）：197.1MB/s

持续传输速率 (block size: 128 sectors):
读取——平均： 80085.9，最小：50737.2，最大：100495.0 [KByte/s]

随机访问时间（全盘）——平均： 12.72，最小：3.44，最大：79.70 [ms]
随机访问时间 (<504 MByte)——平均：6.25，最小：-10.39，最大：22.94 [ms]

Highpoint RocketRAID 3540，各项应用测试

RR 3540 Raid 0持续读取速率：

单盘的成绩：

Barracuda ES.2

RR 3540 Raid 0各项实际应用性能

单盘的成绩：

Barracuda ES.2

Highpoint RocketRAID 3540，实际拷贝测试

以上都是软件测试，我们实际体验一下盘内拷贝操作的惊人速率：WOW（魔兽世界）文件目录拷贝，条件是逻辑硬盘只做一个分区，完整格式化以后的空盘。先将WOW目录拷进这个分区，然后同分区内复制，记录复制时间。

RR3540 Raid0的拷贝时间119.03秒，平均速率71.93MB/s。

3540 Raid0

Barracuda ES.2的拷贝时间191.98秒，平均速率44.27MB/s。

Barracuda ES.2

总结

虽然只简单测试了3540上双硬盘的Raid0性能，但是2640x4的速率几乎是完全相当的，它们的区别是在功能上侧重不同，3540更侧重容量和带宽，而2640则更注重SAS带来的企业级应用。

依靠强大的IOP341芯片支持，Highpoint RocketRAID 3520阵列卡能够从容应对RAID 0, 1, 5, 10, 50, 6, JBOD的企业级应用，它提供优良的磁盘阵列效能给需要极端带宽和企业存储环境，同时保证极高的安全性和可靠性。

而对于中小型企业和一些灵活的应用来说，RocketRAID 2640x4则是更加方便的SAS阵列方案。