Managen von OVM Server SPARC mit dem VM Manager, …

BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENF HAMBURG KOPENHAGEN LAUSANNE MÜNCHEN STUTTGART WIEN ZÜRICH

Managen von OVM Server SPARC mit dem VM Manager, OpsCenter oder VDCF?

DOAG Jahrestagung 18. November 2015

Roman Gächter

Unser Unternehmen.

© Trivadis – Das Unternehmen 2 17/11/15

Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem Solution Engineering und der Erbringung von IT-Services mit Fokussierung auf - und -Technologien in der Schweiz, Deutschland, Österreich und Dänemark. Trivadis erbringt ihre Leistungen aus den strategischen Geschäftsfeldern: Trivadis Services übernimmt den korrespondierenden Betrieb Ihrer IT Systeme.

Das Bild kann nicht angezeigt werden. Dieser Computer verfügt möglicherweise über zu wenig

Das Bild kann nicht angezeigt werden. Dieser Computer verfügt möglicherweise über zu wenig Arbeitsspeicher, um das Bild zu öffnen, oder das Bild ist beschädigt. Starten Sie den Computer neu, und öffnen Sie dann erneut die Datei. Wenn weiterhin das rote x angezeigt wird, müssen Sie das Bild möglicherweise löschen und dann erneut einfügen.



B E T R I E B


KOPENHAGEN

MÜNCHEN

LAUSANNE BERN

ZÜRICH BRUGG

GENF

HAMBURG

DÜSSELDORF

FRANKFURT

STUTTGART

FREIBURG

BASEL

WIEN

Mit über 600 IT- und Fachexperten bei Ihnen vor Ort.

© Trivadis – Das Unternehmen 3 17/11/15

14 Trivadis Niederlassungen mit über 600 Mitarbeitenden.

Über 200 Service Level Agreements.

Mehr als 4'000 Trainingsteilnehmer.

Forschungs- und Entwicklungsbudget: CHF 5.0 Mio.

Finanziell unabhängig und nachhaltig profitabel.

Erfahrung aus mehr als 1'900 Projekten pro Jahr bei über 800 Kunden.

Agenda

Managen des SPARC Hypervisors 4

17/11/15

1.  Ausgangslage 2.  Bewertungskriterien 3.  Test Scenario 4.  Oracle VM Manager

1. Erster Eindruck 2. Setup 3. Tests 4. Zusammenfassung

5.  Oracle Enterprise Manager OpsCenter 6.  VDCF 7.  Solaris Bordmittel 8.  Fazit

Managen des SPARC Hypervisors 17/11/15

Ausgangslage

5

Ausgangslage

Managen des SPARC Hypervisors 6 17/11/15

Neue HW für Test- und Entwicklungs-Umgebung

Ausgangslage


Kriterien zu Bewertung I

  Support unserer Architektur

–  mit aktuellen Versionen von Solaris und VM-Server

–  Support von aktuellem VM Manager in Kombination mit VM-Server X86

  Schmerzfreie Übernahme unserer bestehenden Konfiguration

  HW Monitoring der SPARC T4 Systeme

  Konfigurationsmanagement des SPARC Hypervisors

  Konfigurationsmanagement von Solaris Zonen

  Optimale Unterstützung des Netzwerkstacks im Hypervisor und in Solaris

Ausgangslage


Kriterien zu Bewertung II

Provisioning von Solaris und Solaris Zonen

  Solaris Updates / Patching

  Unterstützung unseres Betriebskonzeptes

–  Migration von Zonen / LDoms von einer HW auf die andere

  Monitoring von LDoms, Zonen und Solaris

  Einfaches Setup und Bedienbarkeit der Tools

  Die Installation und das Setup dürfen nicht zu viel Zeit in Anspruch nehmen

Trivadis Technology Center


Test Scenario


Oracle VM Manager

10

VM Manager


VM Manager


Erster Eindruck

  Start mit „factory default“ LDom Konfiguration

  OVM Server Cluster

–  Repository nur auf NFS Share

–  OCFS2 nur auf Oracle Linux

VM Manager


Setup

  Controller Domain

–  OVM Server SPARC ist Bestandteil von Solaris 11

•  Agent für VM Manager notwendig

–  Start mit „factory default“ LDom Konfiguration

–  Start mit „DefaultFixed network configuration profile“

  VM Manager

–  Installation auf Oracle Linux 6.6

# ./runInstaller.sh

VM Manager


Konfiguration

  Ablauf der Konfiguration

VM Manager


Konfiguration

  Beispiel Link Aggregation

–  Aggregate

•  Trunk

–  Active Passive

•  Datalink Multipathing

root@germany:~# dladm show-aggr bond2 LINK MODE POLICY ADDRPOLICY LACPACTIVITY LACPTIMER bond2 trunk L4 auto off short

VM Manager


Konfiguration

  Netz auf Hypervisor

VM Manager


Konfiguration

  Aggregate auf „primary“ und Vnic auf „guest“ LDom

VSW NAME MAC NET-DEV ID DEVICE LINKPROP DEFAULT-VLAN-ID PVID VID MTU MODE INTER-VNET-LINK 109d7b930a 00:14:4f:fa:04:65 bond2 3 switch@3

NETWORK NAME SERVICE ID DEVICE MAC MODE PVID VID MTU MAXBW LINKPROP net1 109d7b930a@primary 1 network@1 00:21:f6:35:c7:d2

VM Manager


Konfiguration

  OVM und ldm gleichzeitig Nutzen?

root@germany:~# ldm ls NAME STATE FLAGS CONS VCPU MEMORY UTIL NORM UPTIME primary active -n-cv- UART 8 8G 1.3% 1.3% 178d 16h 0004fb0000060000197290a3cbf76ceb bound ------ 5005 2 8G 0004fb0000060000884c234f09cbd28a active -n---- 5000 2 12G 4.2% 4.2% 65d 23h 32m 0004fb0000060000d9c14aa91a80264a active -n---- 5002 3 16G 1.6% 1.6% 9d 23h 25m

VM Manager


Getestet

  Repository auf NFS Share

–  „live migration“ geht

  Disks hinzufügen (vdisk, lokal)

  Netzwerk

–  Bond Ports

•  „link aggregation“

Install Guest LDom mit Template

  Klonen von LDoms

VM Manager


Bemerkungen

  Solaris Zonen

–  Kennt er nicht

  SAN LUN‘s für Cluster

–  Nicht unterstützt

  Klonen

–  Guest Domain muss runtergefahren werden

VM Manager


Bemerkungen

Vnics über Vnet für Zonen

–  Wie mit VM Manager?

VM Manager


Bemerkungen

  Keine alternativen mac‘s über VM Manager?

–  Achtung, nicht von Hand mit ldm machen!!!

•  (ldm set-vnet alt-mac-addrs=auto,auto,auto,auto,auto vnet0 bern)

NETWORK NAME SERVICE ID DEVICE MAC MODE PVID VID MTU MAXBW LINKPROP vnet0 management-vsw0@primary 0 network@0 00:14:4f:fb:e0:6e 1 1500 phys-state 00:14:4f:f8:22:5a 00:14:4f:f8:c3:c0 00:14:4f:fb:41:42 00:14:4f:f9:46:b3 00:14:4f:f8:6b:a8

VM Manager


Bemerkungen

  Keine manuellen Änderungen in der Ldom Konfiguration

rga@MacBook:~$ ssh -l root germany.ttc.trivadis.com Last login: Sun Nov 15 19:28:31 2015 from 172.16.134.3 Oracle Corporation SunOS 5.11 11.2 June 2014 This server is configured with the Oracle VM Agent. It has a specific configuration where LDoms virtual I/Os are disabled while Oracle VM Agent services have not been online. To unconfigure the Oracle VM Agent and restore the regular behavior of LDoms virtual I/Os, refer to the Oracle VM Installation and Upgrade Guide, or read the /README.OVM_UNINSTALL file Warning: making manual modifications in the management domain might cause inconsistencies between Oracle VM Manager and the server.

VM Manager


Resultate VM Manger


Oracle Enterprise Manager OpsCenter

25

OpsCenter


Übersicht

OpsCenter


Architektur

OpsCenter


Erster Eindruck

  Aktuelle Versionen?

–  OpsCenter 12c Release 3 (12.3)

–  OVM 3.3 nicht unterstützt gemäss Support Matrix

–  Oracle VM Server SPARC 3.2

–  Oracle Virtual Machine X86 v3.0.x, 3.1.x and 3.2.x

OpsCenter


Setup

  Setup im Prinzip ok

–  Script für prüfen der Requirements

–  Script für Setup

  Installation

–  „discovery“ über bestehenden VM Manager

–  Zusätzliche Agenten auf „guest domains“

  Fehlermeldungen

–  Schwierig zu verstehen

OpsCenter


Was ging schief?

OpsCenter


Zu wenig Rechte vergeben

OpsCenter


HW Monitoring

OpsCenter


Monitoring

Viele Policies vorhanden

OpsCenter


Provisioning

  Solaris Zonen

–  kryptische Namen

LDoms

–  Nicht durchgeführt weil inkompatibel mit neuster OVM Server SPARC Version

root@opsvm1:~# zoneadm list -cv ID NAME STATUS PATH BRAND IP 0 global running / solaris shared - opsZ2-migrated unavailable /var/mnt/oc-zpools/a205877f-59e4-47f3-8b39-ee1c3bc14608/3e52240f-df9a-4035-903b-0c334cb8e110 solaris excl

OpsCenter


Zonen Migration

  Server Pool mit shared Storage

09/28/2015 03:26:12 PM CEST INFO Waiting for opsZ2 to complete shutdown (72063) 09/28/2015 03:37:42 PM CEST INFO Zone opsZ2 forcibly shutdown (72065)

OpsCenter


Update

Schönes GUI

  Nachher Probleme

OpsCenter


Zusammenarbeit mit VM Manager

  Kann in Kombination verwendet werden

  Konfiguration wird übernommen

Locking Mechanismus

OpsCenter


Resultate


VDCF

41

VDCF


Übersicht

VDCF


Erster Eindruck

  Kommerzielles Produkt

  Free Version

–  Anzahl Nodes beschränkt auf 5

  Kein GUI aber top Command Line Interface

  Einfache Architektur

–  Management Server

–  Client SW, SSH Schnittstellen

–  Proxy Server bei Bedarf

VDCF


Installation

  Einfach

–  SW Komponenten als Solaris Pakete installieren

  Zentrale Konfigurationsdatei für den Start

  User mit SSH Keys sowie RBAC Konfiguration

  Command Line Interface

–  Jedes Command hat gute Hilfe Funktion

VDCF


Übernahme unserer Umgebung

  „discover“ der bestehenden Umgebung

Exclude SAN LUN‘s

nodecfg -c discover nonroot hostname=germany.ttc.trivadis.com name=germany add

diskadm -c show diskadm -c mark name=60002AC0000000000000006B0000D140 foreign

VDCF


Deployment

  Setup von AI und Repositories mit ipsadm

ipsadm -c show_repo ipsadm -c show_build ipsadm -c create_service patchlevel=2.14 platform=sparc name=sparc_214 ipsadm -c create_build name=sparc_214 patchlevel=2.14 service=sparc_214

VDCF


Deployment

LDoms

gdom -c create name=davos cdom=switzerland cores=2 ram=4G comment="Davos LDOM“ diskadm -c mark name=60002AC0000000000000006E0000D140 useable gdom -c adddisk name=davos type=root guids=60002AC0000000000000006E0000d140 gdom -c addnet name=davos ipaddr=davos.ttc.trivadis.com netmask=255.255.254.0 gdom -c commit name=davos node -c enable_install name=davos build=sparc_t4_21

VDCF


Deployment

  Zonen

vserver -c create name=owl node=davos vserver -c addnet name=owl type=managment ipaddr=owl.ttc.trivadis.com \ stack=exclusive dataset -c create name=rpool vserver=owl \ layout=60002AC0000000000000006C0000D140d0 vserver -c addfs type=root name=owl vserver -c commit name=owl server -c boot name=owl

VDCF


Migration von LDoms und Zonen

LDoms

  Zonen

cdom -c show gdom -c show gdom -c show name=davos candidates gdom -c migrate name=davos cdom=germany

node -c show gdom -c show vserver -c show name=raven candidates vserver -c migrate name=raven node=bonn

VDCF


Monitoring

  HW

osmon

hwmon -c show Current Hardware State Node Model Console Soft State HW State Last Change Last Update Monitoring germany ORCL,SPARC-T4-1 ILOM OS-RUN OK 2015-10-21 15:03:39 2015-10-21 15:03:39 ON switzerland ORCL,SPARC-T4-1 ILOM OS-RUN OK 2015-10-21 15:03:39 2015-10-21 15:03:39 ON

osmon -c show No critical osmon data found

VDCF


Monitoring

osmon

osmon -c show_fs [ over=<percent> ] [ summary ] [ root ] osmon -c show_smf [ state="state1,state2,state3" ] [ search=<smf name> ] [ server=<server name> ] osmon -c show_dataset [ over=<percent> ] [ summary ] [ root | dataset ] osmon -c show_server server=<server name> [ all ] osmon -c summary [ server=<server name> ]

VDCF


Monitoring

  Ressourcen

rcmon -c show server=bern cpu hourly rcmon -c show server=davos memory daily rcmon -c summary node=davos rcmon -c summary vserver=raven

VDCF


Resultate

Solaris Bordmittel


Eigene Tools bilden

  Solaris Bordmitteln

–  „ldm commands“

–  „zonecfg commands“

–  „zoneadm commands“

–  Eigene Scripts

  Puppet Ressource

–  Zonen


Fazit

55

Fazit


Gegenüberstellung der Tools

  VM Manager

–  Noch nicht ausgereift

–  Limitationen

OpsCenter

–  Top für Monitoring

–  Kompliziertes Setup für Virtualisierungs- und Solaris Komponenten

–  Oracle Support einplanen

–  Unterstützt aktuelle Version VM Manager nicht

Fazit


Gegenüberstellung der Tools

  VDCF

–  Kommerzielles Tool

–  Free Version mit limitierten Nodes

–  Setup sehr einfach

–  Kein GUI

–  Top Command Line Interface

–  Erfüllt alle unsere Anforderungen

Roman Gächter Principal Consultant

[email protected]

17/11/15 Managen des SPARC Hypervisors 58


Trivadis an der DOAG 2015

Ebene 3 - gleich neben der Rolltreppe

Wir freuen uns auf Ihren Besuch.

Denn mit Trivadis gewinnen Sie immer.

Managen von OVM Server SPARC mit dem VM Manager, …

Documents

Transcript of Managen von OVM Server SPARC mit dem VM Manager, …