VMware ESX Server における - Dell · 上記復旧方法を、適応するためにはVMware ESX...
Transcript of VMware ESX Server における - Dell · 上記復旧方法を、適応するためにはVMware ESX...
ET Technical Brief Dell Japan Inc.
Enterprise Technologist Advanced Systems Group
Page 1 / 14 Copyright © 2005 by Dell Japan, Inc All Rights Reserved. Printed in Japan
Enterprise
VMware ESX Server における SAN ブート構成
Version 1.1 (作成: 2005年 7月 11日)
ET Technical Brief Dell Japan Inc.
Enterprise Technologist Advanced Systems Group
Page 2 / 14 Copyright © 2005 by Dell Japan, Inc All Rights Reserved. Printed in Japan
Enterprise
目次
目次.......................................................................................................................................................... 2
はじめに ..................................................................................................................................................... 3
改定履歴 .........................................................................................エラー! ブックマークが定義されていません。
1. SAN ブートとは....................................................................................................................................... 4
1-1. SAN ブート の特徴.......................................................................................................................... 4
1-2.VMWARE ESX SERVERにおける SAN ブート...................................................................................... 4
1-3. DELL|EMC CX シリーズにおける SAN ブートのサポート....................................................................... 4
2. VMWARE ESX SERVER によるファイバチャネル ストレージの PATH の管理 ............................................. 5
2.1. 一般的な SAN の構成 .................................................................................................................... 5
2.2. VMWARE ESX SERVER と一般 OS での PATHの管理の相違点 .......................................................... 5
2-3. VMWARE ESX SERVERでの PATH障害の動き .................................................................................. 6
3. VMWARE ESX SERVER での SAN ブート環境による問題 ..................................................................... 7
3-1. 問題点 .......................................................................................................................................... 7
3-2. 復旧方法 ....................................................................................................................................... 7
4. VMWARE ESX SERVER での SAN ブート環境での DELL推奨構成..................................................... 8
4-1.HOST側の設定............................................................................................................................... 8
4-1-1. HBA/SP の Pathは 1:1 とする ................................................................................................. 8
4-1-2. Boot ディスクの HOStLUNは基本的には 0 とする ....................................................................... 9
4-1-3.HOStBusAdapter の設定 ....................................................................................................... 10
4-2. DELL|EMC CX側の設定 ..............................................................................................................11
4-2-1. Failover-Modeは「1」とする .....................................................................................................11
4-2-2. Boot LUN の Auto Assignment を「Enable」 .......................................................................... 12
4-2-3. Storage Group(CX の LUN マスキング機能 以下 SG)の設定.................................................. 13
5. 参考資料 ........................................................................................................................................... 14
5-1. VMWARE SITE............................................................................................................................... 14
5-2. EMC SITE .................................................................................................................................... 14
5-3 .DELL SITE..................................................................................................................................... 14
ET Technical Brief Dell Japan Inc.
Enterprise Technologist Advanced Systems Group
Page 3 / 14 Copyright © 2005 by Dell Japan, Inc All Rights Reserved. Printed in Japan
Enterprise
はじめに
本ドキュメントは、VMware ESX Server2.51環境化で、ファイバチャネル ストレージ(DELL|EMC CX シリーズ)接続および SAN ブート接続した際の、推奨構成を記載したものとなります。
免責事項とこの文書の取り扱いについて
本書の内容は予告なく変更されることがあります。
本書は、情報提供のみを目的に執筆されたものであり、誤字脱字や技術上の誤りには責任を負いません。本書の内
容は執筆時現在のものであり、いかなる内容も明示的または暗黙的に保証するものではありません。
© 2005 Dell Inc. © 2005 デル株式会社 All rights reserved.(著作権所有)
デルから書面による許可を得ずに本書を複製、転載することは、いかなる場合も禁止します。
本書で使用している商標: Dell、DELLのロゴマーク、PowerEdgeは、米国Dell Inc.の商標です。VMware、VMotion、ESX Serverは、VMware, Inc.の商標です。EMCは、EMC Corporationの登録商標です。Linuxは、Linus Torvalds氏の登録商標です。Intel、インテル、Xeon、Pentiumは、アメリカ合衆国およびその他の国におけるインテルコーポレーションおよび子会社の登録商標または商標です。MicrosoftとWindowsは、Microsoft Corporationの登録商標です。
本書では、マークや名前を届け出た実在のもの、もしくは、その製品のいずれかを参照するため、その他の商標、商号
を使用している可能性があります。Dell Inc.は、Dell以外の商標や商号における権益の要求に一切応じません。
ET Technical Brief Dell Japan Inc.
Enterprise Technologist Advanced Systems Group
Page 4 / 14 Copyright © 2005 by Dell Japan, Inc All Rights Reserved. Printed in Japan
Enterprise
1. SAN ブートとは
1-1. SAN ブート の特徴 SAN ブートは、サーバの内蔵 SCSIや ATAなどの HDD からの OS ブートではなく、ファイバチャネル ストレージ
の LUN より OS ブートを行う構成です。ファイバチャネル ストレージに Boot ディスクを配置することで、サーバ障
害が起こった際に、他のサーバに切り替えて OS ブートを行うことが可能となり、早期の障害復旧を行うことが出
来ます。
また、ファイバチャネル ストレージにBoot ディスクのLUNを配置しているため、高信頼性を確保することが可能と
なります。
1-2.VMware ESX Server における SAN ブート VMware ESX Serverは、Version2.5 より SAN ブートがサポートされています。
サポートストレージおよび構成の詳細は、下記 URL を参照ください。
ESX サポート SAN構成情報
http://www.vmware.com/pdf/esx_SAN_guide.pdf
ESX ドキュメント
http://www.vmware.com/support/pubs/esx_pubs.html
ESX関連技術資料
http://www.vmware.com/support/resources/esx_resources.html
1-3. DELL|EMC CX シリーズにおける SAN ブートのサポート DELL|EMC CXシリーズでは、ストレージ Flareコードにより構成・ドライババージョンなど、EMC社にて認定され
ています。
詳細は EMC Support Matrix を参照ください。
EMC Support Matrix
http://japan.emc.com/interoperability/index.jsp
ET Technical Brief Dell Japan Inc.
Enterprise Technologist Advanced Systems Group
Page 5 / 14 Copyright © 2005 by Dell Japan, Inc All Rights Reserved. Printed in Japan
Enterprise
2. VMware ESX Server によるファイバチャネル ストレージの Path の管理
2.1. 一般的な SAN の構成 一般的なSAN構成は、HBA1枚に対して、複数の Path を確保(1:nのゾーン設定)して Pathや I/Oの分散を行い
ます。これは、Path障害に対してPathの切り替え(フェイルオーバー)や I/Oの分散(ロードバランス)を行うことが目的と
なっています。
2.2. VMware ESX Server と一般 OS での Path の管理の相違点 VMware ESX Serverは、単独でファイバチャネル ストレージの Path管理機能を持っています。
そのため、DELL|EMC CXシリーズで使用されている PowerPath,とは、一部機能が違います。
ESX Path管理 フェイルオーバー(Active/Passive)
PowerPath の管理 フェイルオーバー&ロードバランス
LUNはそれぞれストレージプロセッサ(以下 SP)A および B に配置し各HBAよりデータアクセスを行っています。
VMware ESX Server の場合、Data1はHBA1 より 1 つの Path(赤実線)よりアクセスしています。
仮に、SP の障害で Data1 がSP_B へ移動(Tress Path Data1 → Data2)した場合は、HBA1 より切り替わり
Path(青実線)でアクセスが継続されます。 >図 1参照
それに対して一般OS(Windowsおよび Linuxホストを想定)は、Data1に対しては、HBA1および 2の両方の Path
(赤実線)から I/O のロードバランスを行いながらアクセスいたします。
また、同様に SP_Bへ切り替わった場合、Data2に対して HBA1および 2の両方の Path(青実線)からアクセスが継
続されます。>図 2参照
図 1-VMware ESX Server 図 2-一般 OS+PowerPath
実線部分 = Active / 破線部分 = Passive
ET Technical Brief Dell Japan Inc.
Enterprise Technologist Advanced Systems Group
Page 6 / 14 Copyright © 2005 by Dell Japan, Inc All Rights Reserved. Printed in Japan
Enterprise
2-3. VMware ESX Server での Path障害の動き VMware ESX Serverは、常に 1 つの Path よりアクセスしており、他の Pathは Passive となっています。Path
障害においてはファイバチャネル ストレージと連携して、障害ポイントにより Path の切り替えが行われます。
図-3-1 通常のアクセス→赤実線でアクセス 図 3-2 HBA1 の障害→黒実線に切り替わる
図 3-3 FC スイッチの障害→黒実線に切り替わる 図 3-4 SP_Aの障害→LUNが SP_Aから B
に移動して青実線に切り替わる
実線部分 = Active / 破線部分 = Passive
ET Technical Brief Dell Japan Inc.
Enterprise Technologist Advanced Systems Group
Page 7 / 14 Copyright © 2005 by Dell Japan, Inc All Rights Reserved. Printed in Japan
Enterprise
3. VMware ESX Server での SAN ブート環境による問題
3-1. 問題点 VMware ESX Server で SAN ブートを構築した場合、Boot時などで Active Path が変更(SP_A からB へ Boot LUN が移動など)した場合、カーネルパニックが発生する等の症状で ESX が起動しなくなる事があ
ります。 これは、Boot時に Pathの切り替わりにより「/dev/sda」デバイスが不明となってしまい、「/」:rootや「/boot」がマウントできなくなるため起こります。 関連 FAQ:http://www.vmware.com/support/kb/enduser/std_adp.php?p_faqid=1444
3-2. 復旧方法 1. ストレージ操作により、従来の SP へ LUN に戻す
2. HBA もしくは FC スイッチで、Path を確認し、本来の Path を Disable に新規で Path を構築させ、
「/dev/sda」として認識させる
上記復旧方法を、適応するためには VMware ESX Server の知識だけでなく、SAN 全般の知識
(HBA/Storage/FC スイッチなど)が必要となり、トラブルシューティングに工数がかかります。
但し、上記内容を十分配慮いただくことでマルチパス(HBA に対してnの Path を持つ構成)でも VMware ESX
Server での SAN ブート環境を構築することは可能です
第 4項を参照して頂き、最適な構成をご検討ください。
ET Technical Brief Dell Japan Inc.
Enterprise Technologist Advanced Systems Group
Page 8 / 14 Copyright © 2005 by Dell Japan, Inc All Rights Reserved. Printed in Japan
Enterprise
4. VMware ESX Server における SAN ブート環境での DELL推奨構成
4-1.ホスト側の設定 4-1-1. HBA/SP の Path は 1:1 とする
現時点では ESXは I/O ロードバランシングの機能を持っていない為、1:1 の構成でも問題ありません。
1:2の構成にでも ESX起動時の Path管理は正常に動作しますが、保守運用の観点を簡略化するために 1:1の構
成をお勧めしたします。
図 4 HBA/SPの Path の 1:1
実線部分 = Active / 破線部分 = Passive
ET Technical Brief Dell Japan Inc.
Enterprise Technologist Advanced Systems Group
Page 9 / 14 Copyright © 2005 by Dell Japan, Inc All Rights Reserved. Printed in Japan
Enterprise
4-1-2. ブートディスクの Host LUNは基本的には 0 とする 各 VMware ESX Serverにブートディスクをアサインする際には、他のデータディスクよりも最前でアサインする。そ
の他の LUN にしますと、ブート時のディスクスキャンの順番が狂った場合、「No ブート device available」という
エラーで起動できない場合がある。
図 5 Storage管理 Soft(Navisphere Manager)より
LUN50 がブートディスクとして Host LUN を「0」に設定
ET Technical Brief Dell Japan Inc.
Enterprise Technologist Advanced Systems Group
Page 10 / 14 Copyright © 2005 by Dell Japan, Inc All Rights Reserved. Printed in Japan
Enterprise
4-1-3. HBA(ホストバスアダプタ)の設定 HBA(ホストバスアダプタ) は、VMware ESX Server では Qlogic製品がサポートされています。
以下、設定は Qlogic製品を元に記載させていただきます。
サーバの POST より「ctrl + Q」 Fast!UTIL を起動後、各 HBA より
1,Configuration Settings > Adapter Settings から Host Adapter BIOS 「Enabled」
図 6-1 Qlogic Fast!UTIL より
2,Configuration Settings > Selectable ブート Settings から Select ブート 「Enabled」
3,Configuration Settings > Selectable ブート Settings からブート Path と LUN の選択
HBA1→SP_A0_WWN --LUN0 HBA2 →SP_B1_WWN --LUN0
図 6-2 Qlogic Fast!UTIL より
ET Technical Brief Dell Japan Inc.
Enterprise Technologist Advanced Systems Group
Page 11 / 14 Copyright © 2005 by Dell Japan, Inc All Rights Reserved. Printed in Japan
Enterprise
4-2. DELL|EMC CX側の設定 4-2-1. Failover-Modeは「1」とする
HBA障害時に自動で Tress path が実行されます。
図 7-1 Storage管理 Soft(Navisphere Manager)より
Group Edit から Failover-Mode は「1」の設定
図 7-2 Storage管理 Soft(Navisphere Manager)より
Host Information から Failover-Mode は「1」の確認
ET Technical Brief Dell Japan Inc.
Enterprise Technologist Advanced Systems Group
Page 12 / 14 Copyright © 2005 by Dell Japan, Inc All Rights Reserved. Printed in Japan
Enterprise
4-2-2. ブート LUN の Auto Assignment を「Enable」 この設定により、Auto Scan機能が有効になり、起動時に SP が故障していても自動で Tress pathが実行さ
れ、起動することができます。設定していない場合は、手動にて Tress path を行う必要がります。
図 8 Storage管理 Soft(Navisphere Manager)より
ブートディスクのプロパティから Auto Assignment を「Enable」
ET Technical Brief Dell Japan Inc.
Enterprise Technologist Advanced Systems Group
Page 13 / 14 Copyright © 2005 by Dell Japan, Inc All Rights Reserved. Printed in Japan
Enterprise
4-2-3. Storage Group(CX の LUN マスキング機能 以下 SG)の設定 VMware ESX Server で VMotion機能を使用する場合は、VMs領域(VMFS ファイルシステム)を共有する
必要があります。その際の設定は次の通りとなります。
1. サーバー毎に SG(ストレージグループ)は分ける
2. 共有 LUNは両 SG に構成する
図 9-1 SG の構成
実線部分 = Active / 破線部分 = Passive
図 9-2 ストレージ管理ソフトウェア(Navisphere Manager)より
Select LUN の項目で、リストの項目を「all」にする事で他の SG が使用しているディスクを選択するこ
とが可能
ET Technical Brief Dell Japan Inc.
Enterprise Technologist Advanced Systems Group
Page 14 / 14 Copyright © 2005 by Dell Japan, Inc All Rights Reserved. Printed in Japan
Enterprise
5. 参考資料
5-1. VMware Site ESX Server 2.5 運用ガイド
http://www.vmware.com/jp/pdf/esx25_admin_guide_JA.pdf
ESX Server 2.5 インストールガイド
http://www.vmware.com/jp/pdf/esx25_install_guide_JA.pdf
ESX Server 製品情報 Top
http://www.vmware.com/products/server/esx_features.html
ESX Server ドキュメントページ
http://www.vmware.com/support/pubs/esx_pubs.html
ESX Server 技術情報
http://www.vmware.com/support/resources/esx_resources.html
5-2. EMC Site グローバルソリューションセンター関連
http://japan.emc.com/solutions/gsc.jsp
5-3 .Dell Site DELL ESX Server技術情報(US)
http://www.dell.com/vmware
DELL Power Solution(US)
http://www.dell.com/powersolutions