Folie 1Software-Innovationen für die Luftfahrtforschung > Achim Basermann > Parallele Gleichungslöser > 20.04.2010

Dr. Achim Basermann, Dr. Hans-Peter KerskenAbteilung Verteilte Systeme und KomponentensoftwareDLR Simulations- und Softwaretechnik

Dr. Christian FreyAbteilung Numerische MethodenDLR Institut für Antriebstechnik

Parallele Gleichungslöser für die linearenTRACE-Module

Software-Innovationen für die LuftfahrtforschungAbschiedskolloquium für Prof. Dr. Ulrich TrottenbergDLR Braunschweig, 20.04.2010

Folie 2Software-Innovationen für die Luftfahrtforschung > Achim Basermann > Parallele Gleichungslöser > 20.04.2010

Übersicht

Motivation

Die „Distributed Schur Complement”-Methode (DSC)

Komplexe und reelle Problemformulierung

Experimente mit TRACE-Matrizen

Fazit

Folie 3Software-Innovationen für die Luftfahrtforschung > Achim Basermann > Parallele Gleichungslöser > 20.04.2010

Das parallele Simulationssystem TRACE

TRACE: Turbo-machinery Research Aerodynamic Computational Environment

Entwickelt vom Institut für Antriebstechnik des DLR in Zusammenarbeit mit MTU Aero Engines

Berechnet die Innenströmung in Turbomaschinen

Nutzt die Methode der Finiten Volumen mit blockstrukturierten Gittern

Die linearen TRACE-Module erfordern die parallele, iterative Lösung großer, dünnbesetzter, unsymmetrischer Gleichungssysteme.

Folie 4Software-Innovationen für die Luftfahrtforschung > Achim Basermann > Parallele Gleichungslöser > 20.04.2010

Parallele Gleichungslöser in TRACE: Hintergrund

Module linearTRACE bzw. adjointTRACE

A unsymmetrisch, komplex bzw. reell, dünnbesetzt

Paralleler iterativer Löser: (F)GMRes mit Präkonditionierung

Dominiert das Zeitverhalten deutlich

Matrix-Vektor und Vektor-Vektor-Operationen

Präkonditionierung gewöhnlich am aufwendigsten

Kritisch für die Skalierbarkeit

Status: Block-lokale Präkonditionierung

ILU, SSOR

Skalierbarkeit begrenzt

Ziel: Globaler, skalierbarer Präkonditionierer

Tests mit DSC-Methoden

bAx

bPAxP 11

Folie 5Software-Innovationen für die Luftfahrtforschung > Achim Basermann > Parallele Gleichungslöser > 20.04.2010

DSC-Methode (1)

Verteilte Matrix,2 Prozessoren

Folie 6Software-Innovationen für die Luftfahrtforschung > Achim Basermann > Parallele Gleichungslöser > 20.04.2010

DSC-Methode (2)

DSC-Algorithmus

Schema aufjedem Prozessor

Folie 7Software-Innovationen für die Luftfahrtforschung > Achim Basermann > Parallele Gleichungslöser > 20.04.2010

DSC-Methode (3)

Präkonditionierung im DSC-Algorithmus

Folie 8Software-Innovationen für die Luftfahrtforschung > Achim Basermann > Parallele Gleichungslöser > 20.04.2010

DSC-Methode (4): Einfluss der Partitionierung

Ungerichteter Graph Symmetrisieren der Matrix-Struktur

Graph-Partitionierung: ParMETIS (University of Minnesota)

Ziel:Minimiere die Anzahl der geschnittenen Kanten

Minimiere die Anzahl der Kopplungsvariablen

Folie 9Software-Innovationen für die Luftfahrtforschung > Achim Basermann > Parallele Gleichungslöser > 20.04.2010

Matrix-Experimente: Relle oder komplexe Arithmetik?

idcizyiDC

bAx

))((

Komplexe TRACE-Marix(n=28120; nz=1246200; Kond.: 6,7·106)

Reelle TRACE-Matrix(n=56240; nz=2572040; Kond.: 8,4·106)

eGw

d

c

z

y

CD

DC

Folie 10Software-Innovationen für die Luftfahrtforschung > Achim Basermann > Parallele Gleichungslöser > 20.04.2010

DSC-Präkonditionierer: Matrix-Permutation (komplex)

Hintergrund: Fill-in-Reduzierung für ILUT-Präkonditionierung

Original Reverse Cuthill-McKee (RCM)Minimum Degree (MD)

Folie 11Software-Innovationen für die Luftfahrtforschung > Achim Basermann > Parallele Gleichungslöser > 20.04.2010

27538371

9148261 10323438

0

5000000

10000000

15000000

20000000

25000000

30000000

Fil

l-in

Original MD RCM

ILU-Präkonditionierer: Fill-in in L und U (komplex)

MATLAB: ILUT-Präkonditionierung; Threshold = 10-3

415

23 22

1

10

100

1000

ILU

T c

on

str

uc

tio

n t

ime

in

se

co

nd

s

Original MD RCM

Folie 12Software-Innovationen für die Luftfahrtforschung > Achim Basermann > Parallele Gleichungslöser > 20.04.2010

ILU-Präkonditionierer: Matrix-Permutation (reell)

Hintergrund: Fill-in-Reduzierung für ILUT-Präkonditionierung

Original Minimum Degree (MD) Reverse Cuthill-McKee (RCM)

Folie 13Software-Innovationen für die Luftfahrtforschung > Achim Basermann > Parallele Gleichungslöser > 20.04.2010

ILU-Präkonditionierer: Fill-in in L und U (reell)

MATLAB: ILUT-Präkonditionierung; Threshold = 10-3

167724381

25855563 28610320

0

20000000

40000000

60000000

80000000

100000000

120000000

140000000

160000000

180000000

Fil

l-in

Original MD RCM

9664

87 79

1

10

100

1000

10000

ILU

T c

on

str

uc

tio

n t

ime

in

se

co

nd

s

Original MD RCM

Folie 14Software-Innovationen für die Luftfahrtforschung > Achim Basermann > Parallele Gleichungslöser > 20.04.2010

Performance: Komplexe oder reelle Arithmetik?

MATLAB: ILUT-Präkonditionierung;

Threshold = 10-3; |Rel. Residuum| < 10-10

Folie 15Software-Innovationen für die Luftfahrtforschung > Achim Basermann > Parallele Gleichungslöser > 20.04.2010

Performance auf dem AeroGrid-Cluster des DLR(Doppelprozessor-Knoten; Quad-Core Intel Harpertown; 2,83 GHz)

DSC-Methode, reelle versus komplexe Problemformulierung

Folie 16Software-Innovationen für die Luftfahrtforschung > Achim Basermann > Parallele Gleichungslöser > 20.04.2010

DSC-Methode: Performance (reell)(Doppelprozessor-Knoten; AMD Opteron 250; 2,4 GHz)

0

2

4

6

8

10

16 32 64

Processors

Tim

e i

n s

ec

on

ds

DSC, 0.001, 5

Block Jacobi, threshold 0.001

Block Jacobi, threshold 0.01

DSC-Methode versus Block-Jacobi-Präkonditionierung (mit RCM)

0,0

0,5

1,0

1,5

2,0

2,5

3,0

64

Processors

Tim

e i

n s

ec

on

ds

DSC, 0.001, 5

Block Jacobi, threshold 0.001

Block Jacobi, threshold 0.01

Bei hoher Prozessorzahl lohnt sichder bessere Präkonditionierer.

Folie 17Software-Innovationen für die Luftfahrtforschung > Achim Basermann > Parallele Gleichungslöser > 20.04.2010

Fazit

Permutation (MD, RCM) entscheidend für ILUT-Performance;leichte Vorteile für RCM (höhere Lokalität)

Komplexe Rechnung deutlich schneller als reelle(höhere Lokalität, besseres Verhältnis von Rechnung zu Speicherzugriffen)

DSC-Methode lässt höhere Skalierbarkeit als Block-lokale Verfahren erwarten.

Aussicht

Entwicklung eines „intelligenten“ Lösers für TRACE mitproblem- und konvergenzabhängiger Parametersteuerungund Präkonditionierung

Einsatz der DSC-Methode als globaler Glätter inMehrgitterverfahren

Folie 18Software-Innovationen für die Luftfahrtforschung > Achim Basermann > Parallele Gleichungslöser > 20.04.2010

Fragen?Fragen?