Docker - Containervirtualisierung leichtgemacht

Docker – Containervirtualisierungleicht gemachtCeBIT 2015 18. März 2015

Michel RodeLinux/Unix Consultant & Trainer

B1 Systems [email protected]

B1 Systems GmbH - Linux/Open Source Consulting, Training, Support & Development

mailto:[email protected]

Vorstellung B1 Systems

gegründet 2004primär Linux/Open Source-Themennational & international tätigüber 60 Mitarbeiterunabhängig von Soft- und Hardware-HerstellernLeistungsangebot:

Beratung & ConsultingSupportEntwicklungTrainingBetriebLösungen

dezentrale Strukturen

B1 Systems GmbHDocker – Containervirtualisierung leicht

gemacht 2 / 47

http://www.b1-systems.de

SchwerpunkteVirtualisierung (XEN, KVM & RHEV)Systemmanagement (Spacewalk, Red Hat Satellite, SUSEManager)Konfigurationsmanagement (Puppet & Chef)Monitoring (Nagios & Icinga)IaaS Cloud (OpenStack & SUSE Cloud & RDO)Hochverfügbarkeit (Pacemaker)Shared Storage (GPFS, OCFS2, DRBD & CEPH)Dateiaustausch (ownCloud)Paketierung (Open Build Service)Administratoren oder Entwickler zur Unterstützung des Teamsvor Ort


gemacht 3 / 47


Docker –Build, Ship and Run Applications


gemacht 4 / 47


Was ist Docker?

Open Source Engine zum Standardisieren vonProzessumgebungen unter Linux„build, ship and run (distributed) applications“offene Plattform für Entwickler und Systemadministratorennutzt Container-Technologien (LXC/libcontainer)einfaches Erstellen und Teilen von Container ImagesDocker ist kein virtueller Server! (⇒ wenig Overhead)„Docker“ bezeichnet sowohl den Server-Daemon als auch denClient samt CLIOpen-Source-Projekt, veröffentlicht unter der Apache-2.0-Lizenz


gemacht 5 / 47


Eigenschaften

Docker ermöglicht ein automatisches Deployment einerstandardisierten Prozessumgebung für Linux-Anwendungen.Alle Linux-Anwendungen laufen in Docker.Docker läuft auf allen gängigen Linux-Distributionen.Alle benötigten Funktionen befinden sich innerhalb desContainers:

BibliothekenAbhängigkeitenBinärdateien. . .

Container sind auf die Architektur der Host-Plattformbeschränkt.


gemacht 6 / 47


Vorteile

kleinschnellsicherflexibelreproduzierbarportabel


gemacht 7 / 47


VMs vs. Container

VMs komplette Maschine einschl. Kernel wird mit Hilfe einesHypervisors virtualisiert.

Container nur Prozesse werden virtualisiert, das OS undBinaries/Libraries gemeinsam genutzt.


gemacht 8 / 47


Einsatzbereiche

Docker ermöglicht ein schnelles Bereitstellen reproduzierbarer(Laufzeit-)Umgebungen für Entwickler und Systemadministratoren:

Evaluations-SystemePOC-SystemeTest-SystemeQA-SystemeLive-UmgebungenKonfigurationstests. . .


gemacht 9 / 47


Container Execution Environments

Docker kann derzeit zwei Execution Driver für die Erstellung vonContainern nutzen:

LXCbewährte leichtgewichtige Prozessvirtualisierungim Linux-Kernel

Libcontainerneue Eigenentwicklung von Docker zur Nutzungder Kernel-Features

Libcontainer ist Default seit Version 1.0Ein einzelner Kernel sorgt für die Limitierung und Isolation derRessourcen.⇒ Emulation von Hardware entfällt⇒ Performance-Overhead wird minimiert


gemacht 10 / 47


Linux Containers (LXC)

leichtgewichtiger Virtualisierungsmechanismus(Prozessvirtualisierung) mit modularem Designverwaltet Ressourcen und Prozessgruppen voneinander isoliert inso genannten Containernnutzt vorhandene Kernel-Features wie Capabilities, ControlGroups und Namespaces„chroot on steroids“ (http://lxc.sourceforge.net)seit 2.6.29 Teil des Upstream Kernels (und damit aller gängigenDistributionen)freie Software (größtenteils GNU-LGPL-Lizenz)


gemacht 11 / 47

http://lxc.sourceforge.net


libcontainer I

Go-Implementation, um Linux-Kernel-Namespaces ohne weitereAbhängigkeiten für Container zu nutzenvollständig unabhängig von LXCverwaltet als Teil von Docker die nötigen Kernel-Features:

CapabilitiesControl GroupsNamespacesApparmor-/SELinux-ProfileNetzwerkschnittstellenFirewall-Regeln


gemacht 12 / 47


libcontainer II

Grundlage für die Windows-ImplementierungGrundlage für weitere EntwicklungenRed Hat, Google, Canonical & Parallels


gemacht 13 / 47


Capabilities

teilen die Rechte eines privilegierten Benutzers (root) inbestimmte Teilbereiche aufkönnen für unterschiedliche Prozesse individuell gesetzt werden⇒ geringere Gefahr eines Missbrauchs von Rechtenda Container = Prozesse besteht die Möglichkeit, bestimmteRechte innerhalb eines Containers einzuräumenminimieren Wechselwirkungen (z. B. beim Mounten desroot-Dateisystems mit read only beim Herunterfahren einesContainers)


gemacht 14 / 47


CGroups 1/2

fassen Prozesse in einer hierarchischen Struktur zusammen.ermöglichen es, den Zugriff dieser Prozesse auf Ressourcen zubeschränken oder zu unterbinden und so die Nutzung dieserRessourcen zu limitieren.Typische Ressourcen sind Prozessoren, Arbeitsspeicher,Netzwerkressourcen oder Kernel Namespaces.Die hierarchische Struktur ermöglicht es, Eigenschaften vonSubsystemen auf mehreren Ebenen zu unterteilen.Zu jeder dieser Ebenen lässt sich die Nutzung der möglichenRessourcen weiter einschränken.Prozesse (Container) lassen sich dann gezielt in die Tasklist derbetreffenden CGroup aufnehmen.


gemacht 15 / 47


CGroups 2/2


gemacht 16 / 47


ChrootFunktion unter Unix-Systemen, um im laufenden System einneues Rootverzeichnis zuzuweisenprimär für das Aufsetzen virtueller Umgebungen entwickelteinfache Möglichkeit, nicht vertrauenswürdige Programme zuisolieren (aka. „Sandbox“)einfacher Jail-Mechanismus – aus dem aber durchausausgebrochen werden kannProzess im Chroot-Verzeichnis kann nicht mehr auf Dateienaußerhalb dieses Verzeichnisses zugreifenProgramm muss im Chroot-Verzeichnis eine kompletteUmgebung vorfinden (Platz für temporäre Dateien,Konfigurationsdateien, Programmbibliotheken, . . . )keine Ressourcen-Limitierung


gemacht 17 / 47


Kernel Namespaces

Integration von Namespaces im Kernel mit Version 2.6.19Namespaces helfen, Prozesse voneinander zu isolierenmögliche Eigenschaften zum Definieren eines Namensraumes:

ipc System-V-Interprozess-Kommunikation (IPC)uts Hostnamemnt Mountpoints und Dateisystemepid Prozessenet Netzwerk-Stack

user Benutzer (UIDs)


gemacht 18 / 47


Übersicht


gemacht 19 / 47


Images, Container und Registries

Docker Imagesread only TemplateBasis für Container

Docker Containerwird auf Basis eines Image und Dockerfile erzeugthält zur Laufzeit die Änderungen vor (Read-/Write-Layer)Änderungen können in einem neuen Image übernommen(„committed“) werden

Docker RegistriesImage Repositoryprivat und öffentlichzentrale Ressource: Docker Hub


gemacht 20 / 47


Bestandteile – Die Docker-Engine

Die Docker Engine besteht auszwei Teilen:

Server Daemon für denServerprozess zurVerwaltung derContainer

Client Client zur(Fern-)Steuerungdes Daemons


gemacht 21 / 47


Docker und die weitere Welt

Docker ist kollaborativ, modular und erweiterbar:Atomic atomar aufgebautes Hostsystem für Docker-ContainerCoreOS minimales Linux als Container-BetriebssystemGitlab Collaboration on Code

Jenkins Continuous Integration System für Servlet Container(z. B. Apache Tomcat)

Puppet KonfigurationsmanagementFig Orchestration

Packer Erstellung fertiger Images mittels Templates. . .


gemacht 22 / 47


Docker Hub


gemacht 23 / 47


Konfiguration


gemacht 24 / 47


Container – Ressourcen (Default)

CPU 1024 CPU-Shares für neue Container durch CGroups(Default)

Speicher gesamter Arbeitsspeicher des Hosts nutzbar (Default)Block Devices keine Bandbreiteneinschränkung beim Lese- und

Schreibzugriff auf Blockgeräte (Default)Netzwerk automatisch über Linux-Bridge docker0 mit dem

Netzwerk des Hosts verbunden (Default)Storage 10 GB Festplattenplatz pro Container (Default)


gemacht 25 / 47


Treiber für Storage

Der Docker-Daemon unterstützt drei verschiedene Treiber fürStorage:

aufs alt, nicht im Kernel (nur via Patchset), schnell (!!!)devicemapper Thin Provisioning und Copy on Write (CoW),

Snapshots, Direct- &Loop-LVMbtrfs sehr schnell, Cow, Snapshots, default teilweise

OverlayFS sehr schnell, in der Entwicklung


gemacht 26 / 47


Treiber für Storage

Storage-Treiber setzen:# docker -s <devicemapper|btrfs|overlayfs...>

Storage-Informationen abfragen:# docker info[...]Storage Driver: devicemapperPool Name: docker-253:2-1443148-poolPool Blocksize: 65.54 kBData file: /var/lib/docker/devicemapper/devicemapper/dataMetadata file: /var/lib/docker/devicemapper/devicemapper/metadataData Space Used: 5.739 GBData Space Total: 107.4 GBMetadata Space Used: 5.976 MBMetadata Space Total: 2.147 GB


gemacht 27 / 47


Storage, Images und Container

layerbasiertbis auf den oberstenalle read-onlybeinhaltenÄnderungen/Diffsnormalerweise alsBase-Image-Scratch


gemacht 28 / 47


Dockerfiles


gemacht 29 / 47


Dockerfiles – Grundlagen

Bauanleitung für ein Imageenthält die notwendigen Anweisungen zum Erstellen eines Imagestellt so die Reproduzierbarkeit eines Image bei jeder neuenErstellung sicherAnweisungen sind einzeilig und beginnen mit einemSchlüsselwortAnweisungen sind nicht case-sensitive (Schlüsselwörtergewöhnlich groß)Kommentare werden durch ein #-Zeichen eingeleitet


gemacht 30 / 47


Dockerfiles verwenden

Minimalistisches Dockerfile:# johndoe/nodejs# VERSION 0.0.1

FROM <repo>MAINTAINER John Doe <[email protected]>

Dockerfile verwenden (hier: aktuelles Verzeichnis):$ docker build .


gemacht 31 / 47


Dockerfiles – Anweisungen

ADD/COPY Kopieren lokaler Dateien vom Host in den ContainerCMD Aufruf für Programme innerhalb eines Containers

EXPOSE Portadresse für das NetzwerkFROM Repository als Basis für das ImageRUN (Kommandozeilen-)Befehl ausführen

MAINTAINER Ersteller des Dockerfiles (optional)VERSION Versionsnummer (optional)


gemacht 32 / 47


Dockerfiles – Beispiel

Dockerfile für MySQL-Server (Beispiel):FROM rhelMAINTAINER John Doe <[email protected]>RUN yum install -y mysql mysql-serverADD start.sh /startRUN chmod +x /startEXPOSE 3306CMD ["/start"]


gemacht 33 / 47


GitLab – kollaborativ entwickeln


gemacht 34 / 47


Features

komplett frei und Open SourceVerwalten und Durchsuchen von Git Repositorieseigener Code auf eigenem ServerVerwaltung von ZugriffsrechtenAusführen von Code Reviews und Merge RequestsHooks. . .


gemacht 35 / 47


GitLab 1/3


gemacht 36 / 47


GitLab 2/3


gemacht 37 / 47


GitLab 3/3


gemacht 38 / 47


Jenkins – Continuous Integration


gemacht 39 / 47


Was ist Jenkins?

Jenkins ist ein serverbasiertes System für ContinuousIntegration, das in einem Servlet Container (wie ApacheTomcat) betrieben wird.Jenkins unterstützt SCM Tools wie AccuRev, CVS, Subversion,Git, Mercurial, Perforce, Clearcase und RCT und kann ApacheAnt und Maven ausführen.Jenkins ist freie Software; lizenziert unter der MIT-Licence.Builds können auf unterschiedliche Weise gestartet werden, auchper Commit-Trigger eines Versionskontrollsystems.Jenkins überwacht die Ausführung wiederholter Jobs wie z. B.das Bauen eines Softwareprojekts oder Cronjobs.Jenkins ist in Java geschrieben.


gemacht 40 / 47


Jenkins 1/3


gemacht 41 / 47


Jenkins 2/3


gemacht 42 / 47


Jenkins 3/3


gemacht 43 / 47


Jenkins PluginsDocker Buildstep verschiedene Docker-Kommandos zu einem Job als

Build Step hinzufügenDocker publish Projekte mittels Dockerfile bauen und sie in die

Docker Registry ladenGit Verwendung von Git als Build-SCM

Gitlab Build Trigger, der GitLab vorgaukelt, dass Jenkins einGitLab CI ist

Build Pipeline Plugin bietet Ansicht der Build Pipeline vonUpstream- und Downstream-verbundenen Jobs, die eineBuild Pipeline bilden

Downstream-Ext Plugin unterstützt erweiterte Konfiguration zumTriggern von Downstream Builds.

Publish Over SSH Plugin Daten- und Dateitransfer (SSH)


gemacht 44 / 47


Jenkins – Build Pipeline Plugin

bildet die Build Pipeline aberlaubt Festlegung manueller Trigger für Jobs, die vor derAusführung ein Eingreifen erfordern, z. B. Abnahmeprozessaußerhalb von Jenkins


gemacht 45 / 47


Jenkins – Downstream-Ext Plugin

Dieses Plugin bietet weitreichende Konfigurationsmöglichkeiten zumTriggern von Downstream Builds:

triggert Builds nur, wenn ein Downstream-Job Änderungen imSCM aufweisttriggert Builds, wenn ein Upstream Buildbesser/gleich/schlechter als ein definiertes Ergebnis abschneidet(SUCCESS, UNSTABLE, FAILURE, ABORTED)für Matrix (aka Multi-Configuration) Jobs kann festgelegtwerden, welcher Teil des Jobs den Downstream Job triggern soll:parent only, configuration only oder beide


gemacht 46 / 47


Vielen Dank für Ihre Aufmerksamkeit!

Bei weiteren Fragen wenden Sie sich bitte an [email protected] +49 (0)8457 - 931096.

Besuchen Sie uns auch hier auf der CeBIT,Halle 6, H16/312.

B1 Systems GmbH - Linux/Open Source Consulting, Training, Support & Development

mailto:[email protected]

Docker - Containervirtualisierung leichtgemacht

Software

Transcript of Docker - Containervirtualisierung leichtgemacht