GENEGENE

Ein massiv paralleler Code zur Berechnung vonEin massiv paralleler Code zur Berechnung vonturbulenten Strturbulenten Strömungen in Fusionsplasmenömungen in Fusionsplasmen

Priv.-Doz. Dr. Frank JenkoPriv.-Doz. Dr. Frank Jenko

Nachwuchsgruppe “Theorie und Ab-initio-Simulation von Plasmaturbulenz”Nachwuchsgruppe “Theorie und Ab-initio-Simulation von Plasmaturbulenz”MPI fMPI für Plasmaphysik inür Plasmaphysik in Garching und Universität Münster Garching und Universität Münster

ITER (F)ITER (F)

ASDEX Upgrade (D)ASDEX Upgrade (D)

Stellare FusionsplasmenStellare Fusionsplasmen

Was sind die 10 grWas sind die 10 größten ungelösten Problemeößten ungelösten Problemein der Physik?in der Physik?

Umfrage des ‘Institute of Physics’ Umfrage des ‘Institute of Physics’ (Britische Physikervereinigung):(Britische Physikervereinigung):

• … …• FusionsenergieFusionsenergie• TurbulenzTurbulenz• KomplexitKomplexitätät• … …

Diesen ‘Grand Challenges’ ist dieses Projekt gewidmetDiesen ‘Grand Challenges’ ist dieses Projekt gewidmet

(Aus

gabe

12/

1999

)(A

usga

be 1

2/19

99)

TurbulenzforschungTurbulenzforschung

Turbulente StrTurbulente Strömungen sind allgegenwärtig…ömungen sind allgegenwärtig…

……aber bis heute nicht wirklich verstanden!aber bis heute nicht wirklich verstanden!

• 100 Mio Grad hei100 Mio Grad heißes, ionisiertesßes, ionisiertes Gas (Plasma) in torusförmigenGas (Plasma) in torusförmigen magnetischen ‘Käfigen’magnetischen ‘Käfigen’

• Energieverlustrate liegt i.A. umEnergieverlustrate liegt i.A. um etliche Größenordnungen überetliche Größenordnungen über den naiven Erwartungenden naiven Erwartungen

Plasmaturbulenz ist ein/das Kernproblem der Plasmaturbulenz ist ein/das Kernproblem der FusionsforschungFusionsforschung

Ziel: Verständnis und KontrolleZiel: Verständnis und Kontrolle

Fusionsforschung und PlasmaturbulenzFusionsforschung und Plasmaturbulenz

Turbulenzinduzierter Transport (Simulation)Turbulenzinduzierter Transport (Simulation)

Direkte numerische Simulation mit GENEDirekte numerische Simulation mit GENE

Physikalische GrundlagenPhysikalische Grundlagen

Verwendete AlgorithmenVerwendete Algorithmen

ParallelisierungsstrategieParallelisierungsstrategie

Ergebnisse und HerausforderungenErgebnisse und Herausforderungen

Konzeptioneller AnsatzKonzeptioneller Ansatz

KomplexeKomplexePhPhänomeneänomene

Qualitatives VerstQualitatives Verstäändnisndnis(fundamentale Prozesse)(fundamentale Prozesse)

Quantitatives VerständnisQuantitatives Verständnis(direkter Vergleich mit dem Experiment)(direkter Vergleich mit dem Experiment)

einfache Modelleeinfache Modelle DNS (GENE)DNS (GENE)

Einfaches 2D-FlEinfaches 2D-Flüssigkeitsmodellüssigkeitsmodell

• minimales Modell fminimales Modell füür Plasmamikroturbulenzr Plasmamikroturbulenz• 2D-Gleichung f2D-Gleichung für das ür das elektrostatische Potential elektrostatische Potential ФФ• identisch mit der Charney-Gleichung (Geophysik)identisch mit der Charney-Gleichung (Geophysik)• eng verwandt mit der 2D-Navier-Stokes-Gleichungeng verwandt mit der 2D-Navier-Stokes-Gleichung

Hasegawa-Mima-GleichungHasegawa-Mima-Gleichung

Varianten dieser Gleichung liegen vielen Studien zugrunde;Varianten dieser Gleichung liegen vielen Studien zugrunde;sie ist das Herzstsie ist das Herzstüück aufwck aufwäändigerer/realistischerer Modelle. ndigerer/realistischerer Modelle.

Vlasov-Maxwell-GleichungenVlasov-Maxwell-Gleichungen

Eliminierung der schnellen GyrationEliminierung der schnellen Gyration[Frieman, Chen, Lee, Hahm, Brizard [Frieman, Chen, Lee, Hahm, Brizard et alet al. in den 1980ern]. in den 1980ern]

Ladungsringe als QuasiteilchenLadungsringe als Quasiteilchen

DDünneünne, heisse Plasmen sind fast stossfrei, heisse Plasmen sind fast stossfrei

Kinetische Beschreibung stossarmer PlasmenKinetische Beschreibung stossarmer Plasmen

Nichtlineare Integro-Differentialgleichungen in 3+2 DimensionenNichtlineare Integro-Differentialgleichungen in 3+2 Dimensionen

Die nichtlinearen gyrokinetischen GleichungenDie nichtlinearen gyrokinetischen Gleichungen

Entsprechende FeldgleichungenEntsprechende Feldgleichungen

XX = Position des Gyrozentrums = Position des Gyrozentrums

VVװװ = parallele Geschwindigkeit= parallele Geschwindigkeit

μμ = magnetisches Moment = magnetisches Moment

Direkte numerische Simulation mit GENEDirekte numerische Simulation mit GENE

Physikalische GrundlagenPhysikalische Grundlagen

Verwendete AlgorithmenVerwendete Algorithmen

ParallelisierungsstrategieParallelisierungsstrategie

Ergebnisse und HerausforderungenErgebnisse und Herausforderungen

Effiziente Nutzung von HöchstleistungsrechnernEffiziente Nutzung von Höchstleistungsrechnern

Mathematische Formulierung des Problems:Mathematische Formulierung des Problems:

• Mittelung Mittelung über die schnelle Gyrationsbewegung eliminiert kleineüber die schnelle Gyrationsbewegung eliminiert kleine und irrelevante Raum-Zeit-Skalen und irrelevante Raum-Zeit-Skalen [spart viele Größenordnungen][spart viele Größenordnungen]

• Anpassung des Koordinatensystems an die räumliche Struktur derAnpassung des Koordinatensystems an die räumliche Struktur der turbulenten Fluktuationen, d.h. an das Hintergrund-Magnetfeldturbulenten Fluktuationen, d.h. an das Hintergrund-Magnetfeld [spart etwa 2-3 [spart etwa 2-3 Größenordnungen]Größenordnungen]

Wahl des AlgorithmusWahl des Algorithmus

Wichtige Auswahlkriterien:Wichtige Auswahlkriterien:

• Stabilität bzw. RobustheitStabilität bzw. Robustheit• möglichst geringe Komplexitätmöglichst geringe Komplexität• gute Effizienz und Parallelisierbarkeitgute Effizienz und Parallelisierbarkeit

Algorithmische Alternativen:Algorithmische Alternativen:

• Particle-in-Cell-MethodenParticle-in-Cell-Methodenhervorragend parallelisierbarhervorragend parallelisierbarnumerisches Rauschennumerisches Rauschen

• Semi-Lagrange-MethodenSemi-Lagrange-Methodenkein numerisches Rauschenkein numerisches Rauscheni.d.R. nur schwer parallelisierbari.d.R. nur schwer parallelisierbar

• Gitter-MethodenGitter-Methodenkein numerisches Rauschenkein numerisches RauschenEffizienz und Parallelisierbarkeit OKEffizienz und Parallelisierbarkeit OK

Angewandte CFD-MethodenAngewandte CFD-Methoden

Kinetische Gleichung (eine fKinetische Gleichung (eine für jede Teilchenspezies)ür jede Teilchenspezies)::

• x-Richtung (radial):x-Richtung (radial): kompakte finite Differenzen (quasispektral)kompakte finite Differenzen (quasispektral)• y-Richtung (toroidal):y-Richtung (toroidal): pseudospektral (Axialsymmetrie des Torus)pseudospektral (Axialsymmetrie des Torus)• z-Richtung (poloidal):z-Richtung (poloidal): finite Differenzen vom upwind-Typfinite Differenzen vom upwind-Typ• v_parallel-Richtung:v_parallel-Richtung: zentrierte finite Differenzenzentrierte finite Differenzen• μμ-Richtung:-Richtung: tritt nur als Parameter auftritt nur als Parameter auf

Typisches Phasenraum-Gitter bei minimalem Simulationsvolumen:Typisches Phasenraum-Gitter bei minimalem Simulationsvolumen:128 x 64 x 32 x 32 x 8 Punkte (~ Bevölkerung der BRD)128 x 64 x 32 x 32 x 8 Punkte (~ Bevölkerung der BRD)

FeldlFeldlöser:öser:

• Berechnung der Quellterme erfordert Geschwindigkeitsraum-IntegrationBerechnung der Quellterme erfordert Geschwindigkeitsraum-Integration• Lösung der 2D-Poisson/Helmholtz-Gleichungen im x-y-Raum durch FFTsLösung der 2D-Poisson/Helmholtz-Gleichungen im x-y-Raum durch FFTs

Zeitschrittverfahren:Zeitschrittverfahren:

• Explizites Runge-Kutta-Verfahren 3. Ordnung (Heun-Verfahren)Explizites Runge-Kutta-Verfahren 3. Ordnung (Heun-Verfahren)

FJ und Tilman Dannert (1999-2005)FJ und Tilman Dannert (1999-2005)

Wahl des ZeitschrittverfahrensWahl des Zeitschrittverfahrens

Linearisiertes (und reduziertes) Problem:Linearisiertes (und reduziertes) Problem:Phasenraum-Diskretisierung liefert Matrix-GleichungPhasenraum-Diskretisierung liefert Matrix-Gleichung

Lage der EW in der komplexen EbeneLage der EW in der komplexen Ebene StabilitStabilitätsbereiche von ERK-Verfahrenätsbereiche von ERK-Verfahren

Lineare StabilitLineare Stabilität erfordert ein ERK-Verfahren von mindestens 3. Ordnungät erfordert ein ERK-Verfahren von mindestens 3. Ordnung

Direkte numerische Simulation mit GENEDirekte numerische Simulation mit GENE

Physikalische GrundlagenPhysikalische Grundlagen

Verwendete AlgorithmenVerwendete Algorithmen

ParallelisierungsstrategieParallelisierungsstrategie

Ergebnisse und HerausforderungenErgebnisse und Herausforderungen

Parallelisierung und RechnerarchitekturParallelisierung und Rechnerarchitektur

Shared memoryShared memory(Symmetric Multi Processing)(Symmetric Multi Processing)

OpenMPOpenMP(Open Multi Processing)(Open Multi Processing)

Distributed memoryDistributed memory(Clusters)(Clusters)

MPIMPI(Message Passing Interface)(Message Passing Interface)

Im wesentlichen zwei Familien:Im wesentlichen zwei Familien:

IBM-Regatta-System am Rechenzentrum Garching:IBM-Regatta-System am Rechenzentrum Garching:

SMP-Knoten32 Prozessoren

SMP-Knoten32 Prozessoren

SMP-Knoten32 Prozessoren

SMP-Knoten32 Prozessoren

25 Knoten 25 Knoten àà 64/256 GB64/256 GB 166.4 GFlop/s (peak)166.4 GFlop/s (peak)

Zwei Alternativen:Zwei Alternativen:

1) Nur MPI1) Nur MPI2) Mischung aus MPI und OpenMP2) Mischung aus MPI und OpenMP

Parallelisierungsstrategie bei GENEParallelisierungsstrategie bei GENE

Lokale und nichtlokale Operatoren:Lokale und nichtlokale Operatoren:

• x-Richtung:x-Richtung: FFTs, kompakte finite DifferenzenFFTs, kompakte finite Differenzen• y-Richtung:y-Richtung: FFTsFFTs• z-Richtung:z-Richtung: finite Differenzenfinite Differenzen• v-Raum:v-Raum: IntegrationIntegration

Gemischte Parallelisierung:Gemischte Parallelisierung:

• MPI-Prozesse:MPI-Prozesse: z, y, z, y, μμ (Wahlmöglichkeit) (Wahlmöglichkeit)• OpenMP:OpenMP: RestRest

SMP-Knoten:1 MPI-Prozess

+ OpenMP

SMP-Knoten:1 MPI-Prozess

+ OpenMP

SMP-Knoten:1 MPI-Prozess

+ OpenMP

SMP-Knoten:1 MPI-Prozess

+ OpenMP

Erzielte Effizienz: bis etwa 15% des theoretischen MaximumsErzielte Effizienz: bis etwa 15% des theoretischen Maximums

Direkte numerische Simulation mit GENEDirekte numerische Simulation mit GENE

Physikalische GrundlagenPhysikalische Grundlagen

Verwendete AlgorithmenVerwendete Algorithmen

ParallelisierungsstrategieParallelisierungsstrategie

Ergebnisse und HerausforderungenErgebnisse und Herausforderungen

Turbulenzantrieb durch MikroinstabilitätenTurbulenzantrieb durch Mikroinstabilitäten

ITG modes

trapped electronmodes

ETG modes

Wichtige Mikroinstabilitäten:Wichtige Mikroinstabilitäten:

• Ion temperature gradient (ITG) modesIon temperature gradient (ITG) modes• Electron temperature gradient (ETG) modesElectron temperature gradient (ETG) modes• Trapped electron modesTrapped electron modes

Im linearen Bereich sind ITG- und ETG-Modes isomorph.Im linearen Bereich sind ITG- und ETG-Modes isomorph.Im nichtlinearen Bereich könnte das bedeuten:Im nichtlinearen Bereich könnte das bedeuten:

DNS von ETG-TurbulenzDNS von ETG-Turbulenz

StrukturbildungStrukturbildung

Dominanz von radial elongiertenDominanz von radial elongiertenWirbeln Wirbeln (‘streamers’)(‘streamers’)

Turbulenter TransportTurbulenter Transport

In Gegenwart von ‘streamers’In Gegenwart von ‘streamers’kann der Transport um mehrkann der Transport um mehrals eine Größenordnung steigenals eine Größenordnung steigen

Theoretische ErklTheoretische Erklärungärung

FJ et al., Phys. Plasmas 2000FJ et al., Phys. Plasmas 2000W. Dorland, FJ et al., PRL 2000W. Dorland, FJ et al., PRL 2000FJ and W. Dorland, PRL 2002FJ and W. Dorland, PRL 2002FJ, Phys. Lett. A 2005FJ, Phys. Lett. A 2005

[Jenko & Kendl 2002][Jenko & Kendl 2002]

Plasmaturbulenz als ein Plasmaturbulenz als ein MultiskalenproblemMultiskalenproblem

Verletzung des Verletzung des Superpositionsprinzips!Superpositionsprinzips!

spectra of (log-log plot)

[Jenko 2004]

nonlinearcross-scalecoupling

edge par’s

Globale Rechnungen (ITER)Globale Rechnungen (ITER)

Eine globale Turbulenzsimulation fEine globale Turbulenzsimulation für ITER wird im Jahr ür ITER wird im Jahr 20152015auf einem 10 PFlop/s-Rechner etwa eine Woche dauern…auf einem 10 PFlop/s-Rechner etwa eine Woche dauern…

DEISA Extreme Computing InitiativeDEISA Extreme Computing Initiative

Distributed European Infrastructure for Supercomputing ApplicationsDistributed European Infrastructure for Supercomputing Applicationswww.deisa.org

Eines von 20 EU-Projekten in 2005/2006:Eines von 20 EU-Projekten in 2005/2006:

““GYROKINETICS”GYROKINETICS”

““The ultimate goal of this effort is to create a 'virtual fusion plasma‘The ultimate goal of this effort is to create a 'virtual fusion plasma‘which can be used to predict and optimize the performance ofwhich can be used to predict and optimize the performance of

future tokamaks and stellarators.future tokamaks and stellarators.”

Danksagung:Danksagung:

Tilman DannertTilman DannertReinhard TismaReinhard Tisma

Mehr Information:Mehr Information:

www.ipp.mpg.de/~fsj