Application ducalculhaute performance et de la simulation ...

©IF

P

Controlled CO2 | Diversified fuels | Fuel-efficient vehicles | Clean refining | Extended reserves

Application du calcul haute performance et de la simulation

numérique à l'IFP

Roland MassonThomas Guignon, Christian Angelberger

IFP

2

©IF

P

Plan

Exemples de deux applications IFP

Simulation des écoulements en milieux poreux Solveurs linéaires: état de l'art et perspectives Plateformes Arcane et ArcGeoSim

Simulation de la combustion moteur

3

©IF

P

Applications

Simulation de bassin

Simulation de réservoir

Simulation du stockage géologique du CO2

Ecoulements Polyphasiques en Milieux Poreux

4

©IF

P

Géométries-Maillages

Puits

Failles

Erosions

Milieux stratifiés hétérogènes anisotropes

5

©IF

P

Modèles Compositionnels

Pore

ii Vol

VolSmmCfixedTP

,),(,

),,(),,,(),,,(

CTPfCTPCTP

),,(),,,( ,, xSPxSk cr

1

)( ,,

S

QVCdivCS

gPPKk

V

iiit

cr

Phases: = 1,..., Np (eau, huile, gaz, ...Composants i=1,...,Nc (H2O, HCs, C02, ...)

Inconnues

Lois thermodynamiques:

Lois hydrodynamiques:

+ Equilibre thermodynamiqueConservation de la

masse

Conservation du volume de pore

Loi de Darcy

6

©IF

PDiscrétisation Volumes Finis collocalisés

Système non linéaire Algorithme de type Newton Gestion des changements de phase par le Flash thermodynamique

Système linéaire Réduction du système par élimination des lois de fermeture et des

inconnues explicites

0)(

0),,()(

1

**1,

1

nKK

nK

nKK

XC

CSPFXMK

TKKKKTKK CSPXX ,,

1,* nn

7

©IF

PSystème linéaire

• Système couplant des inconnues de nature elliptique (P) et hyperboliques (C)=Saturations, Compositions

• De grande taille• De 3 à 10 inconnues par maille

• 105 à 107 mailles

• Non symétrique• Couplages des inconnues P et C • Lois de fermetures non linéaires en pression

• Mal conditionné• Inconnue elliptique, hétérogénéités, anisotropies

c

p

c

p

cccp

pcpp

bb

XX

JJJJ

8

©IF

PMéthode Combinative-AMG

Motivation = exploiter les préconditionneurs existants efficaces pour chaque bloc du système pris séparément Bloc elliptique en pression: Algebraic MultiGrid (AMG) Bloc saturations/compositions: préconditionneurs plus locaux

de type ILU

Difficultés Couplage des inconnues Définition d'un bloc pression adapté au préconditionneur AMG

9

©IF

PMéthode Combinative-AMG

c

p

c

p

cccp

pcpp

bb

YY

JJJJ

c

pILU

c

p

bb

CYY 1

)0()1(

)1(

)1()1(1)2(ccpppppAMGp YJYJbCY

bJCIC

CY

YYYY

ILUAMG

ILUc

pp

c

p

1)0(

11

)0()1(

)2()1(

000

Préconditionnement ILU(0) du système

Vcycle(s) AMG sur le bloc pression

10

©IF

PCas test synthétiques Black Oil en simulation de

réservoir Modèle Black Oil (3 inconnues par maille) Champ de perméabilité log-normal Maillage Cartésien

slope 1,45

slope 1,2

Comb-AMG

Nombre d'inconnues (log)

ILU(0)

CPU

par

itér

atio

n de

New

ton

0

50

100

150

200

250

4 8 12

permeability tensor variance

prec

ondi

tione

rste

pspe

rNew

ton

step

0

6

12

18

24

30

ILU(0)Comb-AMG

11

©IF

P

Cas test SPE10 « SPE10 comparative solution project »

http://www.spe.org/csp/datasets/set02.htm 2 phases (water and oil) 1 Million de mailles, 2000 jours de simulation

2542

16351109

4175

6201040

1615

708

0

1000

2000

3000

4000

5000

8 16 32 64

proc number

tota

l sim

ulat

ion

tim

0

5

10

15

20

25

30

spee

dup

ILU(0)COMB-AMG21522

41758132

30722

16153993

7169

2524

0

5000

10000

15000

20000

25000

30000

35000

1 2 4 8proc. number

tota

l sim

ulat

ion

tim

0

2

4

6

8

spee

dup

ILU(0)COMB-AMG

12

©IF

PCas test PAB

Black Oil 3 inconnues par maille 4.200.000 mailles

4979

25871521

921278

10216

3541169

2280

6360

2000

4000

6000

8000

10000

12000

4 8 16 32 640

2

4

6

8

10

12

ILU(0)COMB-AMG

13

©IF

PLimites de l'approche actuelle Difficulté à exploiter le nombre croissants de coeurs à

taille de problème fixé Besoin actuel: diminuer le CPU à taille de pb fixé

Pour faire plus de simulations (calage, incertitudes) Pour complexifier la physique

Verrou principal: solveur linéaire Limitation de la scalabilité des solveurs avec Comb-AMG:

~ 50000 mailles par processeur Objectifs: Réduire le nombre de maille / coeur en maintenant

une bonne scalabilité Nouveaux algorithmes mieux adaptés aux architectures de

type multi-coeurs ou hybrides GPU-CPU

14

©IF

P

Efficacité en fonction du nombre de coeurs et du nombre de coeurs / processeur

Cluster 116 noeuds 4px4c opteron

SPE10 ILU0: efficacité

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

4 8 16 32 64 12 25

c

1c/p2c/p4c/p

PAB ILU0: efficacité

0

0,2

0,4

0,6

0,8

1

1,2

4 8 16 32 64 128 256

c

1c/p2c/p4c/p

PAB COMB-AMG: efficacité

0

0,2

0,4

0,6

0,8

1

1,2

4 8 16 32 64 128 256

c

1c/p2c/p4c/p

SPE10 COMB-AMG: efficacité

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

4 8 16 32 64 128 256

c

1c/p2c/p4c/p

106 mailles Comb-AMG 4.2106 mailles Comb-AMG

106 mailles ILU(0) 4.2 106 mailles ILU(0)

1c/p2c/p4c/p

15

©IF

PEffet du nombre de coeurs par processeur

Comparaison 1c/p et 2c/p puis 2c/p et 4c/p

Passage de 1 à 2 coeurs: facteur ~1.1

Passage de 2 à 4 coeurs: facteur ~1,4PAB: 2c/p vs 1c/p, 4c/p vs 1c/p

0

0,2

0,4

0,6

0,8

1

1,2

1,4

1,6

1,8

8 16 32 64

c

ILU0 2c/p vs 1c/p

ILU0 4c/p vs 1c/p

COMB-AMG 2c/p vs 1c/p


SPE10: 2c/p vs 1c/p, 4c/p vs 1c/p

0

0,5

1

1,5

2

2,5

3

8 16 32 64

c

ILU0 2c/p vs 1c/p

ILU0 4c/p vs 1c/p



16

©IF

P

Perspectives

Algorithmes mieux adaptés aux architectures

Multi-coeurs: préconditionneurs de type ILU Projet ANR PETAL (INRIA, LABRI, LJLL, CEA, IFP)

CPU/GPU

17

©IF

P

Solveur linéaire GPU Solveur BiCGStab + ILU(0) (non

structuré)

ILU(0) GPU Coloriage de graphe: forte dégradation

de la convergence

Comparaison GPU/CPU: gain d'un facteur 4 sauf sur les petites matrices (coût du coloriage, permutation, transfert...)

Pistes possibles d'amélioration Remplissage (ILUT)

BiCGStab+ILU0

1

26,52

307,9

2,86 8,01

68,39

0

50

100

150

200

250

300

350

Ivak GCS2K SPE10

matrice

t (s)

CPU Xeon E5420 2,5GhzGPU S1070

18

©IF

P

Plateforme logicielle: motivations

Complexification des applications en terme de physique, de méthodes numériques et d'architecture informatique

Exemples d'applications

Modélisation de bassin (géométrie 4D non structurée)

Couplage écoulement – transport réactif (CO2)

Suivi de front dans les procédés thermiques

Plus de modularité et de partage de services Découplage des niveaux de complexité

2500

Y (m)

2000

4000

6000

19

©IF

P

Plateforme Arcane

Plateforme orientée objet pour le développement de codes de calculs parallèles sur maillages non structurés Développé par le CEA-DAM depuis 2000 Collaboration CEA-IFP de co-développement depuis 2007

Adaptée au HPC Objectif de modularité et de partage de services

22

©IF

PLarge-Eddy Simulation (LES) appliquée aux moteurs avec le code AVBP: 2 premières mondiales

2.5x106

2.0

1.5

1.0

0.5

P [

Pa]

2.5x106

2.0

1.5

1.0

0.5

P [

Pa]

-80 -60 -40 -20 0 20 40CAD

-80 -60 -40 -20 0 20 40CAD

experimental pressure enveloppeexperimental mean pressurefirst LES cycleLES cycles 2—>9

experimental pressure enveloppeexperimental mean pressurefirst LES cycleLES cycles 2—>9

SI

Étude LES de variabilités cycliques dans un monocylindre (LESSCO2, 2006)

LES multi-cycle d'un multicylindre(ANR Campas, 2009)

5j/cycle sur 32 procs Xeon2,5j/cycle sur 256 procsSGI Xeon JADE (CINES)

23

©IF

P

R&D of piston engine LES @ IFP: A highly collaborative approach supported by national & European funds

• 1D/3D coupling for BCs of aerodynamics and liquid injection• study CCV and capitalise in form of models for system simulation

LMS, PoliMi, AVL, FEV, Ricardo, LAT, CTU.

EC FP7'09-'12

LESSCCV

• develop E/E and E/L models for liquid injection• validate on experimental data

Renault, PSA, Coria, IMFT

ANR'08-'11

SIGLE

• tools for pre- and post-processing on massively parallel machines • demonstrate LES of a multi-cylinder engine

Cerfacs, CINES, EM2c

ANR'07-'10

CamPaS

• acquire a dedicated engine database• develop and validate methodologies for predicting cyclic variability

Renault, PSA, Cerfacs

ANR'07-'10

SGEmac

• numerical methods• premixed combustion modelling• mesh management

Renault, PSA, BMW, RWTH, IMFT, QUB, LTH

EC FP5'02-'06

LESSCO2

ObjectivesPartners: IFP +FundingProject

24

©IF

P

Quelques enjeux pour le HPC Caractéristiques des LES de moteurs à piston

Maillages de taille inférieure à 20 106 mailles Temps de simulation longs

Plusieurs secondes pour réaliser des simulations couvrant plusieurs dizaines de cycles

Implications La parallélisation massive seule ne peut pas répondre au

besoin de temps de retour court (objectif: << 1j de calcul par cycle)

Il faut des calculs plus rapides: processeurs puissants (ex: SGI Xeon JADE du CINES) exploiter les accélérateurs matériels (GPU) méthodes numériques performantes, précises et stables

25

©IF

P

Conclusions

Objectif dans ces deux applications = scalabilité ànombre de maille fixé

Limitation actuelle liée au nombre critique de mailles par coeur 5000 en explicite pour la LES dans AVBP 50 000 en implicite pour AMG

Recherches sur les algorithmes et leur adaptation aux nouvelles architectures

Mieux maîtriser la complexité des applications àl'échelle industrielle Méthodes numériques plus performantes

Application ducalculhaute performance et de la simulation ...

Documents

Transcript of Application ducalculhaute performance et de la simulation ...