STMF(COMSTAR)からFile(NFS)への移行調査 - zvol to file編
OpenIndiana + ZFS + COMSTARなiSCSIから、Proxmox VE + NFSな環境に移行する場合の話。
zvolのmetaデータを外出しにしているので、zvolをddしてrawデータを抽出するだけで済むはず。
OpenIndianaのiSCSI(STMF)の場合、LU作成時にメタデータが付与されるので、そのままでは移行しにくくなることが予想されます。
メタデータを外部ファイルに出力することでzvolをそのままRAWディスクとして扱うことが出来るので、今回はそれが前提の処理をします。
結構前に OpenIndianaでiSCSIする時、メタデータは外部ファイルにした方が良いんじゃないか、って話 をしたことがありました。
メタデータを外部ファイルにしていない場合のサイズ感とかは調べ切れてないので、この場では扱えませんの。すみませんの。
今回は keine.system とか言う名前のzvolが対象のLU(サイズは40GB)です。
Proxmox VE側のディスクは SCSI / 40GB / RAW を選択して、既に仮想マシンが作成されているものとします。(SCSI部分は旧仮想マシンの設定に沿うように作ります)
以下移行手順:
# zfs list | grep keine dango-01/iSCSI/keine 74.4G 507G 36K /dango-01 …more…
OpenIndianaでTRILLを用いたバックボーンファブリックなのです!
TRILLを試してみたいけど、新しく機材を買うなんてとんでもない!
\!すでのな/
というわけで、(何故か)TRILLが実装されているOpenIndianaを使って、ちょっとしたバックボーンを作ってみるのです。
でも結論から言うとかなりTRILLとしての期待は薄い。プロトコル見るレベル。
more…ZFS Benchmark - RAID10編
構成ディスク台数の増加に伴うZFS性能変動をfioを用いて測定する。
前略raid10編。 測定環境は ZFS Benchmark – 環境構成編(http://www.ainoniwa.net/ssp/?p=224) を参照。
OpenIndianaは元気に伸びた。FreeBSDは若干伸び悩んでるよう。


こう見ると逆に2台構成のミラー測定値に疑問が出るのだが、まぁ順当に伸びるということで。
FreeBSDはやっぱりOpenIndianaに水を開けられている。


予想外にFreeBSDの方が性能の伸びが良い。当てにはならないけどCPU使用率も速度に対して低く見える。
逆にOpenIndianaは6台構成(ミラー*3ストライプ)の方がRandom時は安定するか。


Random Readに関しては差が小さい、および台数による性能変動がほとんどないことは分かってる。
I/O Blockingの観点から言うとレイテンシに全て持っていかれているということなんだろうかね。


少しずつ性能向上してる。OpenIndiana/FreeBSD双方で同様の傾向と測定値。


台数を増やしたほうが若干良い値。
性能差で言えばOpenIndianaの方がいいが、これがどれだけの体感差を生むか予測できてない。


総評
- RAID10は安定して全体的な性能向上と耐障害性を得られるように感じる。(後でRAIDZ2と比較した方がいいかもしれない)
- RAIDZ/Z2/Z3に見られた部分的に性能が落ち込みすぎることも少なそうなので、安定的に性能向上が見込めるように見える(若干そう言いがたい部分もあるが)。
- FreeBSDとの対比では語りにくいが、4KiB Read/Writeの結果は実運用におけるRAIDZ/Mirror …
ZFS Benchmark - RAIDZ3編
構成ディスク台数の増加に伴うZFS性能変動をfioを用いて測定する。
前略raidz3編。 測定環境は ZFS Benchmark – 環境構成編(http://www.ainoniwa.net/ssp/?p=224) を参照。
RAIDZ3でも相変わらずOpenIndianaは綺麗にスケールする。
FreeBSDは少し8台目でもたついてるけど、7台構成ならほぼ同等じゃないかな。


OpenIndianaの方がガタつきが激しい稀有な例。
どちらも、5台構成時にほぼピークが来てしまっているのは一体何なんでしょう。
例えば9台構成の時に再度大きく性能向上するのであれば、データディスク本数を3+(2+4n)にしたほうがいいのかなー、とか妄想出来る。


これまた明確に異なる特性が見える。
OpenIndianaの8台構成は追試した方がいいかもしれないが、それ以外の性能差は小さい気がする。


- 6台構成が良いのは両者共通。
- WriteとReadでかなり本数別特性が異なるように見受けられるなぁ。


まぁ、大体一緒。


まぁ、大体一緒。


総評
- 構成本数によって大きく差が出る部分が見られた。
- 特性からすると、OpenIndianaでは7本、FreeBSDでは8本で組むといいのかもしれない。
ZFS Benchmark - RAIDZ2編
構成ディスク台数の増加に伴うZFS性能変動をfioを用いて測定する。
前略raidz2編。測定環境は ZFS Benchmark – 環境構成編(http://www.ainoniwa.net/ssp/?p=224) を参照。
綺麗なスケール。そして性能差が歴然となるFreeBSD。


6台構成まではFreeBSDの方が順調な伸びを見せるものの、7,8台構成であっさり抜かれる。
でも、ここではFreeBSDが割と頑張ってる感じするよね。


面白いことにほぼ同じ傾向を示した。
7,8台構成時の測定値はFreeBSDの方が劣るが、6台構成まではほぼ同様の伸びと性能を見せている。どう読み取ればいいんだろう。


若干ばらつきかたが似てるけど、OpenIndianaの方が安定して良い性能。大した差ではないけど。


大体一緒。


大体一緒。


総評
- RandomとSequentialで明確に異なる傾向を示した。
more…
- 構成本数をこれまた考え無いといけないが、恐らく最も安定するのは6台構成ではないかと思う。
- 実データ格納ディスクの本数が偶数になった方がいいという話も聞くけど、グラフを見るかぎりでは明確にそうとも言えない気がするし、そういう傾向があるようにも見える。
ZFS Benchmark - RAIDZ編
構成ディスク台数の増加に伴うZFS性能変動をfioを用いて測定する。
前略raidz編。
測定環境は ZFS Benchmark – 環境構成編(http://www.ainoniwa.net/ssp/?p=224) を参照。
2台構成のraidzの性能が今ひとつなのはどちらも同じ。
OpenIndianaでは7台構成時の性能が今ひとつ、FreeBSDでは6台目か。
伸び方はほぼ同じような傾向を示しているように見えるが、最大値を見るとOpenIndianaに軍配が上がる。


何故かReadはどちらもガタつきが激しい。
5台構成では、OpenIndiana/FreeBSDの双方で安定感のある数値を見せている。
6台構成では、どちらも5台構成の方が優位な値を見せている。
8台構成では、OpenIndianaでは順当な伸びを見せているが、FreeBSDでは7台構成に劣る。
OpenIndianaの方が圧倒的に性能は上だが、raidz構成では本数を闇雲に組み合わせるのはまずいかもしれない。


OpenIndianaは7台目で少し下がるが、8台目では持ち直し、綺麗なスケール性能を見せる。
逆にFreeBSDは伸びに苦しんでいて、これなら5台構成の方が安定するだろうと思わせる変動。


測定値は大体一緒。
Random Readは他のRAID構成でもそうだが、どうにも変化に乏しい値しか見れない。
これは、Random Readをvdev単位にしか割り振れないから。


まぁ、大体一緒。


まぁ、大体一緒。


総評
- 安定したスケールはやっぱりOpenIndiana。でも、台数によってガタつきが見られるのでraidzを組む時は台数に多少気を配ったほうが良いように思う …
ZFS Benchmark - RAID1編
構成ディスク台数の増加に伴うZFS性能変動をfioを用いて測定する。
前略RAID1(ミラー)編。誰も8台なんて吊るさないと思うが。
測定環境は ZFS Benchmark – 環境構成編(http://www.ainoniwa.net/ssp/?p=224) を参照。
ミラーにおける書き込み速度は、台数を増やすことで性能低下しなければいい。
という意味では、どちらもそう目立った問題はなさそうに見える。


ミラーにおける読み込み速度は、台数を増やすと並列読み込み出来るから早くなるね。
OpenIndianaは台数を増やすことで綺麗に読み込み速度が向上している。
FreeBSDは8台目だけ飛び上がっていて、どこまで信用に足る値か判断しかねる。
ただ、どちらも増やせば読み込みに関しては向上する余地がある。


512KiB Random Writeでは特に差もなく問題もない。


Readに関してはFreeBSDの性能向上はほとんど無いように見える。 OpenIndianaは若干向上していると見てもいいと思う。


大体一緒。


大体一緒。


総評
- ミラーの台数を増やせばいいのはOpenIndiana/FreeBSDで同様だが、FreeBSDは増やした台数だけリニアに読み込み性能が向上するわけではない。普通8台もミラーするなんてことは無いと思うけど。
ZFS Benchmark - RAID0編
構成ディスク台数の増加に伴うZFS性能変動をfioを用いて測定する。
おそらく2番目に需要のないRAID0編を続けるのであった。 測定環境は ZFS Benchmark – 環境構成編(http://www.ainoniwa.net/ssp/?p=224) を参照。
美しいスケールOpenIndiana、ガタつくFreeBSD。基本的には本数増やすとスケールするよね、というグラフ。


何故か8本目でカクッと下がるOpenIndiana。綺麗にスケールするFreeBSD。OpenIndianaの方が速い。
単にサチってるだけかもしれないので、スケールの美しさはやはりOpenIndianaの方が上。


面白いことに5台目で同じ傾向が見られた。ベンチマークソフトまたはZFSの共通問題じゃないかな。
FreeBSDは6台目以降スケールしてないけど、OpenIndianaは綺麗に伸びてる。


512KiB Random Readは同じくらいだ。ふむ。


これも大体同じ。FreeBSDの方が綺麗だけど誤差か。


大体同じ。


総評
- 現状のスケール性能はOpenIndianaの方がFreeBSDよりも上。
- Random性能は大体同じような傾向を示した。
- 何故か同じ性能劣化傾向を示す組み合わせが見られた。
ZFS Benchmark - Single編
単体ディスクのZFS性能変動をfioを用いて測定する。
おそらく最も一般的に興味のない単一ディスク編から始まるのであった。
測定環境は ZFS Benchmark – 環境構成編(http://www.ainoniwa.net/ssp/?p=224) を参照。
Sequential WriteはOpenIndiana/FreeBSD共に同じくらい、と言っても差し支えない気がする。

図1.1 OpenIndiana Sequential Write

図1.2 FreeBSD Sequential Write
Sequential ReadはなぜかOpenIndianaが爆速で、FreeBSDが(1本を除いて)遅い。
HDDの本来性能以上の値が測定できているのか、FreeBSDが単に遅いのか、全部キャッシュのせいなのかは今のところ棚上げ。

図1.3 OpenIndiana Sequential Read
Single-7だけ変に飛び上がってるけど、その値とOpenIndianaの平均値が同じくらい。

図1.4 FreeBSD Sequential Read
512KiB Random …
more…istgtからSTMF(COMSTAR)への移行調査 - File to zvol編
FreeBSD + ZFS + istgtなiSCSI環境を、OpenIndiana + ZFS + COMSTARなiSCSI環境へ移設することを検討する。
前回に引き続き、今度はFileからzvolへの移行を考える。
仕組み的には前回同様、metaデータを外出しにすれば移行は簡単であった。
前略。
以下手順:
# sftp older-sister@192.168.11.9 sftp> get /mnt/iSCSI/misaka/misaka.system sftp> exit # zfs create -V 40G zfs-pool/iscsi-01 # # *1) # dd if=./misaka.system of=/dev/zvol/dsk/zfs-pool/iscsi-01 bs=4M # # *2) # touch misaka.system …more…