11 Jan 2010 @ 2:54 PM 
 

[筆記]在Fedora Core 11底下,zfs & software raid 的傳輸速率實際測試

 

OS:Fedora Core 11 x86_64

硬體設備

MB:MSI K9vgm-V

RAM: ADATA 1G x 2

硬碟: WD 120G x2 (IDE), Seagate 80G x2 (IDE), hitachi 160G x1(SATA) , WD 500G x1 (SATA)

測試方法:以 dd 建立一個 4G大小的檔案,分別在本機的SCSI 和建立的RAID中透過 mc 來回傳輸(之所以透過 mc 是為了要能看到傳輸速率的關係)

ZFS

1.zfs raid 10

其實zfs 也是可以建立 raid 10的

建立指令 zpool create rz mirror sdb sdd mirror sdc sde

1-1由zfs 傳輸到 SCSI (測試zfs raid 10 的讀取)

zfs-raid0-01-from-zfs-to-scsi-tmp

1-2由SCSI傳輸到ZFS(測試ZFS raid 0 的寫入)

zfs-raid0-02-from-scsi-to-zfs1

可以看到ZFS raid 10 的讀寫速率都只有維持在 15MB/s 上下 (這跟一般沒作RAID 0 差不多啊!!!)

2.zfs raid 0 (zfs 的預設模式)

建立 zpool create rz sdb sdc sdd sde

2-1由zfs 傳輸到 SCSI (測試zfs raid 0 的讀取)

zfs-raid0-04-raid0-from-zfs-to-scsi-tmp

2-2由SCSI傳輸到ZFS(測試ZFS raid 0 的寫入)

zfs-raid0-03-raid0-from-scsi-to-zfs

ZFS raid 0 的效果,可以很明顯發現讀取,要比寫入快很多。不知道這合不合乎一般正常RAID的邏輯!?

3.zfs raidz (想成是raid 5 就好)

建立指令:zpool create rz raidz sdb sdc sdd sde

3-1 由zfs 傳輸到 SCSI (測試zfs raid 5 的讀取)

zfs-raid0-05-r5-from-r5-zfs-to-scsi-tmp1

3-2由SCSI傳輸到ZFS(測試ZFS raid 5 的寫入)

zfs-raid0-06-r5-from-scsi-tmp-to-zfs-r5

不意外的,RAID5 的寫入比讀取要慢上很多,即使是ZFS 也無法避免這種問題。

接下來以Linux 的mdadm 來測試software raid 的傳輸速率

1.raid 0

建立指令:mdadm –create –auto=yes /dev/md0 –level=0 –raid-devices=4 /dev/sdb /dev/sdc /dev/sdd /dev/sde

1-1  由sw raid  0 傳輸到 SCSI (測試sw raid 0的讀取)

mdadm-raid0-02-from-md-to-scsi

1-2由SCSI 傳輸到sw raid  0  (測試sw raid 0的寫入)

mdadm-raid0-01-from-scsi-to-md

哇嗚,跟ZFS的RAID 0 比較起來,software raid 0 的寫入要快上很多呢!

2. software raid 10

建立指令:mdadm –create –auto=yes /dev/md0 –level=0 –raid-devices=4 /dev/sdb /dev/sdc /dev/sdd /dev/sde

2-1 由sw raid  10 傳輸到 SCSI (測試sw raid 10的讀取)

mdadm-raid10-02-from-ms-to-scsi

2-2由SCSI 傳輸到sw raid  10  (測試sw raid 10的寫入)

mdadm-raid10-01-from-scsi-to-md

咦,以RAID 10來看,software raid 不管在寫入/讀取都比 zfs 的raid 10 快上不少?

3-1 由software raid 5傳輸到 SCSI (測試software raid 5 的讀取)

mdadm-raid5-02-from-md-to-scsi

3-2由SCSI傳輸到ZFS(測試ZFS raid 5 的寫入)
mdadm-raid5-01-from-scsi-to-md

WHAT THE HELL ?? 為什麼以software 建立的RAID 5 的寫入,居然比讀取要快!?

簡單列個表

讀取(由SCSI到RAID) 寫入(由RAID到SCSI)
ZFS RAID 10 13.58 15.13
ZFS RAID 0 18.21 34.66
ZFS RAID 5 32.57 17.10
Software RAID 0 33.20 31.71
Software RAID 10 31.31 27.06
Software RAID 5 23.69 28.89

看起來以software raid 0 的效果最好,但是安全性…RAID10 則是可用空間少,既然效率沒差很多,那乾脆還是用RAID 5好了.

UPDATE

補上 SCSI to SATA 測試數據

from-scsi-to-sata-500g-lvm

在SATA 建立檔案的數據

dd if=/dev/zero of=testfile bs=1024M count=4
4+0 records in
4+0 records out
4294967296 bytes (4.3 GB) copied, 63.7303 s, 67.4 MB/s


以上是不負責任亂測試,等下還要來玩把VM實際放上來之後的效果如何!

其實要不是ZFS 的效能差太多,我還是很想要用ZFS,那個snapshot & rollback 的功能實在太吸引我了!

但是禮拜六實地把NAS4300 的VM開起來跑一次備份,發現效能真的很糟糕,也許這種會用到大量IO的機器,還是不適合用這種全虛擬化的軟體來作吧,加上ZFS在LINUX又是透過FUSE去連線,七折八扣下來,有這麼糟糕的數據,也是不意外?

而且ZFS 有個大問題,就是他是以folder的形式存在,而vmware workstation 在指定本機磁碟給VM使用時,是去抓整顆磁碟,看底下圖片就很清楚了。

修正一下,ZFS 或 SW RAID都一樣,沒辦法直接給VM使用..在VM中選新增實體硬碟的時候,不會出現md 的選項!

所以本機ZFS的資源沒辦法直接提供給VM使用,變成還要用ISCSI OR VM SHARE FOLDER的方式,整個就是脫褲子放屁!

不過,就算是脫褲子放屁,現在看起來也是唯一能放屁的方法了!0rz

先用share folder的方式掛上去,再來看看效率的問題吧。

cant-select-md-device-in-vm1

目前效率看起來似乎還好!? 等下抓一台其他CLIENT來試試看

retrospect-in-vm-with-share-folder

  • Share/Bookmark
Tags Categories: 工作筆記 Posted By: chchang
Last Edit: 12 Jan 2010 @ 03 36 PM

EmailPermalink
 

Responses to this post » (2 Total)

 
  1. [...] [筆記]在Fedora Core 11底下,zfs & software raid 的傳輸速率實際測試 [...]

  2. [...] [筆記]在Fedora Core 11底下,zfs & software raid 的傳輸速率實際測試 [...]

Post a Comment

XHTML: You can use these tags: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

\/ More Options ...
Change Theme...
  • Users » 2
  • Posts/Pages » 358
  • Comments » 57
Change Theme...
  • VoidVoid « Default
  • LifeLife
  • EarthEarth
  • WindWind
  • WaterWater
  • FireFire
  • LightLight