良さ気な資料を自分用にまとめ。
といっても大半が @keithseahus さんの資料。
2011年5月14日土曜日
Ultra24/27が最強ZFSストレージサーバになる奇跡のパーツを発見！
Tweet
Sun Ultra24/27は外見、スペック共に最高グレードだと勝手に思い込んでるんだけど、唯一の欠点が内蔵HDDを4台しか搭載できないこと。
http://www.sun.com/desktop/workstation/ultra24/
今回はその欠点を覆す救世主を発見したのでご紹介。
http://www.sun.com/desktop/workstation/ultra24/
今回はその欠点を覆す救世主を発見したのでご紹介。
2011年3月8日火曜日
ありがとうHGST！
Tweet
日立、世界最大手へのＨＤＤ事業売却発表 3500億円で
訳のわからない物ができてしまった。。。
しかし、BloggerはAAが張りづらい。
|
| ランダム ヽ 丶 ＼
| アクセス ＼ ヽ ヽ ヽ
|／ / ヽ ＼ ヽ ヽ
| / | ヽ ＼ ＼ ヽ ゝ (Quantum)
|ﾉ 丿 ＼ 海 ＼ ヾ
| ﾉ | | 丶 ＼ ＼ (Maxtor)
| / ＼ ＼／| (HGST)
| ﾉ | | ＼ 門 | ↑
| ／＼ ＼ | （ ↑
| ／ ＼ ／ | ） （
| ／ ＼ ￣￣￣￣￣ （ ）
|／＿ ＼ ） （ 東芝
|￣ | な H W|￣ ノ⌒￣⌒γ⌒￣⌒ゝ / /
| | い .G D| ノ Westan Degital. ゝ / /
| | で .S .に| 丿 ゞ ＿/ ∠
| | ね T な| 丿／|／|／|／|＼|＼|＼|＼|＼ゝ .＼ ／
| | ！ .の っ| │ V
|――| と 事 て|――――――――――┼―――――――――――――――――
| / い 忘 もヽ .富士通巛巛巛巛巛 人巛巛巛巛巛巛巛巛巛巛Samsung
| う れ .
| 気 . ＿ ┌┬┐ | | |
| 持 | | |^＼ |^＼ ／| 丶 .├┼┤ | ヽ └┼┘
| ち . |――| | | .| | i / | └┴┘ ヽ | | |
| | | | ／ | ／ V / ﾉヽ＿ヽヽ └┴┘
| ランダム ヽ 丶 ＼
| アクセス ＼ ヽ ヽ ヽ
|／ / ヽ ＼ ヽ ヽ
| / | ヽ ＼ ＼ ヽ ゝ (Quantum)
|ﾉ 丿 ＼ 海 ＼ ヾ
| ﾉ | | 丶 ＼ ＼ (Maxtor)
| / ＼ ＼／| (HGST)
| ﾉ | | ＼ 門 | ↑
| ／＼ ＼ | （ ↑
| ／ ＼ ／ | ） （
| ／ ＼ ￣￣￣￣￣ （ ）
|／＿ ＼ ） （ 東芝
|￣ | な H W|￣ ノ⌒￣⌒γ⌒￣⌒ゝ / /
| | い .G D| ノ Westan Degital. ゝ / /
| | で .S .に| 丿 ゞ ＿/ ∠
| | ね T な| 丿／|／|／|／|＼|＼|＼|＼|＼ゝ .＼ ／
| | ！ .の っ| │ V
|――| と 事 て|――――――――――┼―――――――――――――――――
| / い 忘 もヽ .富士通巛巛巛巛巛 人巛巛巛巛巛巛巛巛巛巛Samsung
| う れ .
| 気 . ＿ ┌┬┐ | | |
| 持 | | |^＼ |^＼ ／| 丶 .├┼┤ | ヽ └┼┘
| ち . |――| | | .| | i / | └┴┘ ヽ | | |
| | | | ／ | ／ V / ﾉヽ＿ヽヽ └┴┘
訳のわからない物ができてしまった。。。
しかし、BloggerはAAが張りづらい。
2011年1月23日日曜日
Veritas Storage Foundation Basic の使い方
Tweet
商用UNIXでかなり使われたVERITAS製品。
対応プラットフォームも豊富で、Linux,HP-UX,Solaris,AIX,Linux,その上Windowsまでサポートされている。
HP-UXではVxFSは標準ファイルシステム、SolarisもZFSが出るまではかなり使われていた、Linuxでもクラスタ構成なんかで使われるケースもまだ多い。
またインフラをやっていれば、過去構築されたこれらの環境を触る機会もあるかもしれない。
(最近ではAmazon EC2上でVxVM/VxFSを使えるらしい)
最近は触る機会が減ってきたので、使い方を忘れないように、一通りの機能を復習しておく。
使うのはVeritas Storage Foundation Basic で、Veritas Volume ManagerとVeritas File Systemをくっつけて機能制限したもの。
VERITAS製品の良いところは、プラットフォームに依存せずほぼ一貫した使用感が保たれている事だと思う。
バックアップ製品のNetBackupも好き。クラスター製品なんかも考えられて作られている感じがあって結構好き。
Table of Contents
=================
1 Storage Foundation のコンポーネントと機能
2 テスト環境
3 インストール
3.1 入手方法
3.2 インストール方法
4 インストール後にやる事(PATH/MANPATHの追加)
5 VxVMの重要なコマンド
5.1 vxdisk -o alldgs list
5.2 vxdg list
5.3 vxprint -hrt
6 VxVMのボリューム管理
6.1 VM diskの操作
6.1.1 VM diskへ変換する
6.1.2 VM diskから通常ディスクへ戻す
6.2 disk group 操作
6.2.1 disk group の作成
6.2.2 disk group の破棄
6.2.3 既存DGへディスクを追加
6.2.4 DGからディスクを取り外す
6.3 対話的なVM disk 変換とdisk group 作成
6.4 volume 操作
6.4.1 ボリュームの作成
6.4.1.1 Concatination(連結ボリューム)
6.4.1.2 Stripe
6.4.1.2.1 2面ストライプの作成
6.4.1.2.2 3面ストライプの作成
6.4.1.3 RAID1
6.4.1.3.1 2面ミラーの作成
6.4.1.3.2 3面ミラーの作成
6.4.1.3.3 ログデバイスの追加
6.4.1.4 RAID5
6.4.1.4.1 RAID5ボリュームの作成
6.4.1.4.2 ログの削除（RAID5、ミラー共通）
6.4.1.4.3 ログの追加（RAID5、ミラー共通）
6.4.1.5 RAID1+0、RAID0+1
6.4.2 ボリュームを削除する
6.4.3 volume を拡張・縮小する
6.4.4 volume 内のディスクを入れ替える(障害)
6.4.4.1 新しく追加したディスクを認識させる
6.4.4.2 ディスクを入れ替える
6.4.5 OFFLINEのボリュームを復旧する
6.4.5.1 ミラーの場合
6.4.5.2 RAID5の場合
6.4.5.3 Stripe、Concatinationの場合
7 VxFSの管理
7.1 フォーマットする
7.2 マウントする
7.3 スナップショット
7.4 オンライン拡張する
7.5 FSCKする
7.6 バックアップする
8 その他、参考文献等
対応プラットフォームも豊富で、Linux,HP-UX,Solaris,AIX,Linux,その上Windowsまでサポートされている。
HP-UXではVxFSは標準ファイルシステム、SolarisもZFSが出るまではかなり使われていた、Linuxでもクラスタ構成なんかで使われるケースもまだ多い。
またインフラをやっていれば、過去構築されたこれらの環境を触る機会もあるかもしれない。
(最近ではAmazon EC2上でVxVM/VxFSを使えるらしい)
最近は触る機会が減ってきたので、使い方を忘れないように、一通りの機能を復習しておく。
使うのはVeritas Storage Foundation Basic で、Veritas Volume ManagerとVeritas File Systemをくっつけて機能制限したもの。
VERITAS製品の良いところは、プラットフォームに依存せずほぼ一貫した使用感が保たれている事だと思う。
バックアップ製品のNetBackupも好き。クラスター製品なんかも考えられて作られている感じがあって結構好き。
Table of Contents
=================
1 Storage Foundation のコンポーネントと機能
2 テスト環境
3 インストール
3.1 入手方法
3.2 インストール方法
4 インストール後にやる事(PATH/MANPATHの追加)
5 VxVMの重要なコマンド
5.1 vxdisk -o alldgs list
5.2 vxdg list
5.3 vxprint -hrt
6 VxVMのボリューム管理
6.1 VM diskの操作
6.1.1 VM diskへ変換する
6.1.2 VM diskから通常ディスクへ戻す
6.2 disk group 操作
6.2.1 disk group の作成
6.2.2 disk group の破棄
6.2.3 既存DGへディスクを追加
6.2.4 DGからディスクを取り外す
6.3 対話的なVM disk 変換とdisk group 作成
6.4 volume 操作
6.4.1 ボリュームの作成
6.4.1.1 Concatination(連結ボリューム)
6.4.1.2 Stripe
6.4.1.2.1 2面ストライプの作成
6.4.1.2.2 3面ストライプの作成
6.4.1.3 RAID1
6.4.1.3.1 2面ミラーの作成
6.4.1.3.2 3面ミラーの作成
6.4.1.3.3 ログデバイスの追加
6.4.1.4 RAID5
6.4.1.4.1 RAID5ボリュームの作成
6.4.1.4.2 ログの削除（RAID5、ミラー共通）
6.4.1.4.3 ログの追加（RAID5、ミラー共通）
6.4.1.5 RAID1+0、RAID0+1
6.4.2 ボリュームを削除する
6.4.3 volume を拡張・縮小する
6.4.4 volume 内のディスクを入れ替える(障害)
6.4.4.1 新しく追加したディスクを認識させる
6.4.4.2 ディスクを入れ替える
6.4.5 OFFLINEのボリュームを復旧する
6.4.5.1 ミラーの場合
6.4.5.2 RAID5の場合
6.4.5.3 Stripe、Concatinationの場合
7 VxFSの管理
7.1 フォーマットする
7.2 マウントする
7.3 スナップショット
7.4 オンライン拡張する
7.5 FSCKする
7.6 バックアップする
8 その他、参考文献等
2010年5月16日日曜日
データストレージEXPO 2010
Tweet
今年も行ってきました。
感想としてはIsilonやXIVのようなグリッド型のストレージが増えている印象でした。
以前紹介したNexsanも出展していて、より高密度なストレージをリリースしたようです。
全体的な流れとしては、オールインワンのグリッドタイプのトレージ、Nexsanのようなシンプル低価格なストレージ、
シンプルなストレージをコントロールするNASヘッド製品という製品が多く紹介されており、
日立やNetAppは従来製品の拡張が主な印象。
ただ目玉製品や先進的なもには無く、集客は同日に開催されていたクラウドEXPOやWEBマーケティングEXPOに比べるとかなり劣っていました。
実際ストレージの展示会は地味になりがちなのは昔からなのでしょうが無い感じもしますが。
クラウドやWEBマーケティングの混雑っぷりはすごかったです。
ここ5年位は毎年EXPOには行っていましたがここまで混んでいるにはみた事がない。
Yahoo!の検索連動型の広告のブースなどは道まで人がはみ出しており通り抜けるのも困難なほどでした。
感想としてはIsilonやXIVのようなグリッド型のストレージが増えている印象でした。
以前紹介したNexsanも出展していて、より高密度なストレージをリリースしたようです。
全体的な流れとしては、オールインワンのグリッドタイプのトレージ、Nexsanのようなシンプル低価格なストレージ、
シンプルなストレージをコントロールするNASヘッド製品という製品が多く紹介されており、
日立やNetAppは従来製品の拡張が主な印象。
ただ目玉製品や先進的なもには無く、集客は同日に開催されていたクラウドEXPOやWEBマーケティングEXPOに比べるとかなり劣っていました。
実際ストレージの展示会は地味になりがちなのは昔からなのでしょうが無い感じもしますが。
クラウドやWEBマーケティングの混雑っぷりはすごかったです。
ここ5年位は毎年EXPOには行っていましたがここまで混んでいるにはみた事がない。
Yahoo!の検索連動型の広告のブースなどは道まで人がはみ出しており通り抜けるのも困難なほどでした。
2010年3月16日火曜日
IBM XIV グリッド型ストレージ
Tweet
参考資料
http://www-06.ibm.com/systems/jp/storage/products/disk/xiv/
http://www.youtube.com/watch?v=Q6Qn6PyPGg0
従来のストレージは一つの（または冗長化された）コントローラ配下に大量のディスクが設置される。
これらがFiberChannelスイッチにより階層化されSANを構築する。
基本的にはストレージ性能＝コントローラの性能となり、ハイエンドストレージとは、性能の高いコントローラを搭載したストレージだった。
XIVは階層型ではなく、並列型のアーキテクチャを持つグリッド型のストレージです。
ノードと呼ばれるCPU/MEM/DISKを持った1つの筺体を最小単位とし、このノードを並列に並べXIVは構成されます。
外部からXIVをみた際に複数のノードがあたかも1つのストレージで在るかのようにふるまいます。
（ノードを1つのHDDと見立て、それらを組み合わせてRAIDを組むイメージ）
使用する際は専用の管理ツールから、LUNの容量、冗長性のレベル、LUN番号、ホストアクセス制限を割り当てるだけで、今までのようにRAID構成、LUN構成、コントローラーオーナーのような細かいことを気にする必要がなく、ベーシックな部分がオートマチックに動作するようになっています。
I/Oはノード間でインテリジェンスに分散され、データの冗長性と速度を保ちます。
同じような構造を持つストレージにIsilonが在ります。
XIVがFC-SANストレージなのに対して、IsilonはNASですが、どちらも同じグリッド構造を持っています。
両者ともストレージの知識がなくとも一定のパフォーマンスと信頼性が担保されるため、使い勝手がよさそうにも見えますが、
Isilonは細かなファイルI/Oに弱く、XIVはFC-SANであるためサービス提供には上位側のOS/アプリに強く依存してしまいます。
が、それが解決された適用範囲では非常に強力な性能を発揮するストレージだと思われます。
＊なんでも細かく設定して管理するのが好きな日本人好みではない気がします。
http://www-06.ibm.com/systems/jp/storage/products/disk/xiv/
http://www.youtube.com/watch?v=Q6Qn6PyPGg0
従来のストレージは一つの（または冗長化された）コントローラ配下に大量のディスクが設置される。
これらがFiberChannelスイッチにより階層化されSANを構築する。
基本的にはストレージ性能＝コントローラの性能となり、ハイエンドストレージとは、性能の高いコントローラを搭載したストレージだった。
XIVは階層型ではなく、並列型のアーキテクチャを持つグリッド型のストレージです。
ノードと呼ばれるCPU/MEM/DISKを持った1つの筺体を最小単位とし、このノードを並列に並べXIVは構成されます。
外部からXIVをみた際に複数のノードがあたかも1つのストレージで在るかのようにふるまいます。
（ノードを1つのHDDと見立て、それらを組み合わせてRAIDを組むイメージ）
使用する際は専用の管理ツールから、LUNの容量、冗長性のレベル、LUN番号、ホストアクセス制限を割り当てるだけで、今までのようにRAID構成、LUN構成、コントローラーオーナーのような細かいことを気にする必要がなく、ベーシックな部分がオートマチックに動作するようになっています。
I/Oはノード間でインテリジェンスに分散され、データの冗長性と速度を保ちます。
同じような構造を持つストレージにIsilonが在ります。
XIVがFC-SANストレージなのに対して、IsilonはNASですが、どちらも同じグリッド構造を持っています。
両者ともストレージの知識がなくとも一定のパフォーマンスと信頼性が担保されるため、使い勝手がよさそうにも見えますが、
Isilonは細かなファイルI/Oに弱く、XIVはFC-SANであるためサービス提供には上位側のOS/アプリに強く依存してしまいます。
が、それが解決された適用範囲では非常に強力な性能を発揮するストレージだと思われます。
＊なんでも細かく設定して管理するのが好きな日本人好みではない気がします。
2010年3月7日日曜日
Nexsan完全冗長クラスタストレージ
Tweet
YouTubeで偶然見つけた、Nexsan社という米国メーカーの製品。
完全冗長クラスタストレージ
http://www.nexsan.jp/fully_redundant_cluster.html
RAID を超えたミラーリングで完全冗長クラストレージを実現
http://www.youtube.com/watch?v=nujj-704dj4
本来ならミドルクラス～ハイエンドのFCストレージで実現されていたストレージの冗長化機能を、iSCSIの特性を生かしてローエンドストレージで実現してしまおうというコンセプトのようです。
最近は仮想化が一般的になり、VMotionのような素晴らしい機能を使うため、共有ストレージを導入するケースが多いですが、こうなるとストレージに多くの重要データが集中し、ストレージ停止時のリスクが非常に増大します。そのためストレージの冗長構成や高信頼なストレージを導入しコストが高くなってしまう傾向があります。
VMwareはvSphere4からiSCSIのサポートを強化しているので、このNexsan iSCSIストレージ等と組み合わせることで、安価で高可用なシステムが構築できそうです。
【Nexsan社についての調査】
Nexsan社は国内ではEMCやNetAppに比べると、大々的に展開しているわけではないので、それほど有名ではないですが、
米国ではそこそこの知名度があるメーカで、特にアーカイブ向けに特化されたコストパフォーマンスのよい大容量かつ高集積なストレージを得意としているようです。
また省電力の分野にも一日の長があるようで、高集積による部品削減等のノウハウを組み込むことで同一容量の他社ストレージ品に比べかなりの省電力性を誇り、AutoMAIDと呼ばれる、アイドル状態のディスク回転数を制御する機構をいち早く取り入れ、実用化もしています。
Nexsan社のストレージを国内で検索すると、東京大学のディスクストレージの省電力に関する研究論文がいくつかヒットします。
http://www.google.co.jp/search?hl=ja&rlz=1C1GGLS_jaJP362JP362&q=nexsan+ディスクアレイ+東京大学&btnG=検索&lr=&aq=f&oq=
いずれはこういった磁気ディスクもフラッシュメモリストレージに置き換わっていくのでしょうが、少なくとも後5年はこういった製品を利用して、データセンタの省電力化を計っていく必要がありそうです。
完全冗長クラスタストレージ
http://www.nexsan.jp/fully_redundant_cluster.html
RAID を超えたミラーリングで完全冗長クラストレージを実現
http://www.youtube.com/watch?v=nujj-704dj4
本来ならミドルクラス～ハイエンドのFCストレージで実現されていたストレージの冗長化機能を、iSCSIの特性を生かしてローエンドストレージで実現してしまおうというコンセプトのようです。
最近は仮想化が一般的になり、VMotionのような素晴らしい機能を使うため、共有ストレージを導入するケースが多いですが、こうなるとストレージに多くの重要データが集中し、ストレージ停止時のリスクが非常に増大します。そのためストレージの冗長構成や高信頼なストレージを導入しコストが高くなってしまう傾向があります。
VMwareはvSphere4からiSCSIのサポートを強化しているので、このNexsan iSCSIストレージ等と組み合わせることで、安価で高可用なシステムが構築できそうです。
【Nexsan社についての調査】
Nexsan社は国内ではEMCやNetAppに比べると、大々的に展開しているわけではないので、それほど有名ではないですが、
米国ではそこそこの知名度があるメーカで、特にアーカイブ向けに特化されたコストパフォーマンスのよい大容量かつ高集積なストレージを得意としているようです。
また省電力の分野にも一日の長があるようで、高集積による部品削減等のノウハウを組み込むことで同一容量の他社ストレージ品に比べかなりの省電力性を誇り、AutoMAIDと呼ばれる、アイドル状態のディスク回転数を制御する機構をいち早く取り入れ、実用化もしています。
Nexsan社のストレージを国内で検索すると、東京大学のディスクストレージの省電力に関する研究論文がいくつかヒットします。
http://www.google.co.jp/search?hl=ja&rlz=1C1GGLS_jaJP362JP362&q=nexsan+ディスクアレイ+東京大学&btnG=検索&lr=&aq=f&oq=
いずれはこういった磁気ディスクもフラッシュメモリストレージに置き換わっていくのでしょうが、少なくとも後5年はこういった製品を利用して、データセンタの省電力化を計っていく必要がありそうです。
磁気ディスクとフラッシュメモリの比較
Tweet
最近、フラッシュメモリの進歩が目覚ましい。
パナソニックから発売された64GB SDXCメモリカード
http://panasonic.co.jp/corp/news/official.data/data.dir/jn100120-1/jn100120-1.html
この進歩の速度は、FDDや磁気テープ全盛時代のHDDの進歩に似たものがある。
HDDが出始めた当時は、大容量領域は磁気テープ、高速なアクセスにはHDDといわれたが、
HDDの大容量化と低価格化で、磁気テープは輸送できるバックアップ媒体として価値を残すのみで、完全にHDDに持って取って代わってしまった。
ここではHDDとフラッシュメモリについて比較してみる。
価格と転送速度以外の面で、圧倒的にフラッシュメモリが優れていることが分かる。
特に同一の体積下（単位体積）あたりの記憶容量（記録密度）に関しては約8倍。単位重量当たりは11倍。
データがないため比較できなかったが、フラッシュメモリの諸費電力が気になるところではあるが、
一般にフラッシュドライブを省電力と宣伝しているメーカの事を考えると、
消費電力でもフラッシュドライブに軍配が上がる気がする。
となると、本当に価格面以外のメリットがHDDには無い。
価格の差はいずれ大量生産が進めば、規模の経済効果で追いつかれてしまうことを考えると、
将来的にHDDはどんな地位に落ち着くとこになるのだろう。
パナソニックから発売された64GB SDXCメモリカード
http://panasonic.co.jp/corp/news/official.data/data.dir/jn100120-1/jn100120-1.html
この進歩の速度は、FDDや磁気テープ全盛時代のHDDの進歩に似たものがある。
HDDが出始めた当時は、大容量領域は磁気テープ、高速なアクセスにはHDDといわれたが、
HDDの大容量化と低価格化で、磁気テープは輸送できるバックアップ媒体として価値を残すのみで、完全にHDDに持って取って代わってしまった。
ここではHDDとフラッシュメモリについて比較してみる。
| 比較項目 | HDD | フラッシュメモリ | 備考 |
| 比較製品 | HGST Ultrastar 2TB 7200rpm | Panasonic 64GB SDXCメモリーカード | |
| 容量 | 2000GB | 64GB | |
| 価格 | 約￥30,000 | 約￥47,000 | 価格.com調べ |
| 転送速度 | 134MB/sec * | 22MB/sec | *サステイン転送 |
| 消費電力 | 11W | na | |
| 寸法[mm] | 101.6x26.1x147 | 24x32x2.1 | |
| 体積[m^3] | 389.8 x10^-6 | 1.613 x10^-6 | |
| 重量 | 740g | 2.2g | |
| 価格/容量[￥/GB] | 15 | 734 | |
| 消費電力/容量[W/GB] | 0.0055 | na | |
| 体積/容量[m^3/GB] | 195 x 10^-9 | 25 x 10^-9 | |
| 重量/容量[g/GB] | 0.37 | 0.0344 | |
| 容量/体積[PB/m^3] | 5.13 | 39.7 | |
| 容量/重量[GB/g] | 2.7 | 29.1 |
価格と転送速度以外の面で、圧倒的にフラッシュメモリが優れていることが分かる。
特に同一の体積下（単位体積）あたりの記憶容量（記録密度）に関しては約8倍。単位重量当たりは11倍。
データがないため比較できなかったが、フラッシュメモリの諸費電力が気になるところではあるが、
一般にフラッシュドライブを省電力と宣伝しているメーカの事を考えると、
消費電力でもフラッシュドライブに軍配が上がる気がする。
となると、本当に価格面以外のメリットがHDDには無い。
価格の差はいずれ大量生産が進めば、規模の経済効果で追いつかれてしまうことを考えると、
将来的にHDDはどんな地位に落ち着くとこになるのだろう。
登録:
投稿 (Atom)
