Post on 04-Nov-2021
©IF
P
Controlled CO2 | Diversified fuels | Fuel-efficient vehicles | Clean refining | Extended reserves
Application du calcul haute performance et de la simulation
numérique à l'IFP
Roland MassonThomas Guignon, Christian Angelberger
IFP
2
©IF
P
Plan
Exemples de deux applications IFP
Simulation des écoulements en milieux poreux Solveurs linéaires: état de l'art et perspectives Plateformes Arcane et ArcGeoSim
Simulation de la combustion moteur
3
©IF
P
Applications
Simulation de bassin
Simulation de réservoir
Simulation du stockage géologique du CO2
Ecoulements Polyphasiques en Milieux Poreux
4
©IF
P
Géométries-Maillages
Puits
Failles
Erosions
Milieux stratifiés hétérogènes anisotropes
5
©IF
P
Modèles Compositionnels
Pore
ii Vol
VolSmmCfixedTP
,),(,
),,(),,,(),,,(
CTPfCTPCTP
),,(),,,( ,, xSPxSk cr
1
)( ,,
S
QVCdivCS
gPPKk
V
iiit
cr
Phases: = 1,..., Np (eau, huile, gaz, ...Composants i=1,...,Nc (H2O, HCs, C02, ...)
Inconnues
Lois thermodynamiques:
Lois hydrodynamiques:
+ Equilibre thermodynamiqueConservation de la
masse
Conservation du volume de pore
Loi de Darcy
6
©IF
PDiscrétisation Volumes Finis collocalisés
Système non linéaire Algorithme de type Newton Gestion des changements de phase par le Flash thermodynamique
Système linéaire Réduction du système par élimination des lois de fermeture et des
inconnues explicites
0)(
0),,()(
1
**1,
1
nKK
nK
nKK
XC
CSPFXMK
TKKKKTKK CSPXX ,,
1,* nn
7
©IF
PSystème linéaire
• Système couplant des inconnues de nature elliptique (P) et hyperboliques (C)=Saturations, Compositions
• De grande taille• De 3 à 10 inconnues par maille
• 105 à 107 mailles
• Non symétrique• Couplages des inconnues P et C • Lois de fermetures non linéaires en pression
• Mal conditionné• Inconnue elliptique, hétérogénéités, anisotropies
c
p
c
p
cccp
pcpp
bb
XX
JJJJ
8
©IF
PMéthode Combinative-AMG
Motivation = exploiter les préconditionneurs existants efficaces pour chaque bloc du système pris séparément Bloc elliptique en pression: Algebraic MultiGrid (AMG) Bloc saturations/compositions: préconditionneurs plus locaux
de type ILU
Difficultés Couplage des inconnues Définition d'un bloc pression adapté au préconditionneur AMG
9
©IF
PMéthode Combinative-AMG
c
p
c
p
cccp
pcpp
bb
YY
JJJJ
c
pILU
c
p
bb
CYY 1
)0()1(
)1(
)1()1(1)2(ccpppppAMGp YJYJbCY
bJCIC
CY
YYYY
ILUAMG
ILUc
pp
c
p
1)0(
11
)0()1(
)2()1(
000
Préconditionnement ILU(0) du système
Vcycle(s) AMG sur le bloc pression
10
©IF
PCas test synthétiques Black Oil en simulation de
réservoir Modèle Black Oil (3 inconnues par maille) Champ de perméabilité log-normal Maillage Cartésien
slope 1,45
slope 1,2
Comb-AMG
Nombre d'inconnues (log)
ILU(0)
CPU
par
itér
atio
n de
New
ton
0
50
100
150
200
250
4 8 12
permeability tensor variance
prec
ondi
tione
rste
pspe
rNew
ton
step
0
6
12
18
24
30
ILU(0)Comb-AMG
11
©IF
P
Cas test SPE10 « SPE10 comparative solution project »
http://www.spe.org/csp/datasets/set02.htm 2 phases (water and oil) 1 Million de mailles, 2000 jours de simulation
2542
16351109
4175
6201040
1615
708
0
1000
2000
3000
4000
5000
8 16 32 64
proc number
tota
l sim
ulat
ion
tim
0
5
10
15
20
25
30
spee
dup
ILU(0)COMB-AMG21522
41758132
30722
16153993
7169
2524
0
5000
10000
15000
20000
25000
30000
35000
1 2 4 8proc. number
tota
l sim
ulat
ion
tim
0
2
4
6
8
spee
dup
ILU(0)COMB-AMG
12
©IF
PCas test PAB
Black Oil 3 inconnues par maille 4.200.000 mailles
4979
25871521
921278
10216
3541169
2280
6360
2000
4000
6000
8000
10000
12000
4 8 16 32 640
2
4
6
8
10
12
ILU(0)COMB-AMG
13
©IF
PLimites de l'approche actuelle Difficulté à exploiter le nombre croissants de coeurs à
taille de problème fixé Besoin actuel: diminuer le CPU à taille de pb fixé
Pour faire plus de simulations (calage, incertitudes) Pour complexifier la physique
Verrou principal: solveur linéaire Limitation de la scalabilité des solveurs avec Comb-AMG:
~ 50000 mailles par processeur Objectifs: Réduire le nombre de maille / coeur en maintenant
une bonne scalabilité Nouveaux algorithmes mieux adaptés aux architectures de
type multi-coeurs ou hybrides GPU-CPU
14
©IF
P
Efficacité en fonction du nombre de coeurs et du nombre de coeurs / processeur
Cluster 116 noeuds 4px4c opteron
SPE10 ILU0: efficacité
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
4 8 16 32 64 12 25
c
1c/p2c/p4c/p
PAB ILU0: efficacité
0
0,2
0,4
0,6
0,8
1
1,2
4 8 16 32 64 128 256
c
1c/p2c/p4c/p
PAB COMB-AMG: efficacité
0
0,2
0,4
0,6
0,8
1
1,2
4 8 16 32 64 128 256
c
1c/p2c/p4c/p
SPE10 COMB-AMG: efficacité
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
4 8 16 32 64 128 256
c
1c/p2c/p4c/p
106 mailles Comb-AMG 4.2106 mailles Comb-AMG
106 mailles ILU(0) 4.2 106 mailles ILU(0)
1c/p2c/p4c/p
15
©IF
PEffet du nombre de coeurs par processeur
Comparaison 1c/p et 2c/p puis 2c/p et 4c/p
Passage de 1 à 2 coeurs: facteur ~1.1
Passage de 2 à 4 coeurs: facteur ~1,4PAB: 2c/p vs 1c/p, 4c/p vs 1c/p
0
0,2
0,4
0,6
0,8
1
1,2
1,4
1,6
1,8
8 16 32 64
c
ILU0 2c/p vs 1c/p
ILU0 4c/p vs 1c/p
COMB-AMG 2c/p vs 1c/p
COMB-AMG 4c/p vs 1c/p
SPE10: 2c/p vs 1c/p, 4c/p vs 1c/p
0
0,5
1
1,5
2
2,5
3
8 16 32 64
c
ILU0 2c/p vs 1c/p
ILU0 4c/p vs 1c/p
COMB-AMG 2c/p vs 1c/p
COMB-AMG 4c/p vs 1c/p
16
©IF
P
Perspectives
Algorithmes mieux adaptés aux architectures
Multi-coeurs: préconditionneurs de type ILU Projet ANR PETAL (INRIA, LABRI, LJLL, CEA, IFP)
CPU/GPU
17
©IF
P
Solveur linéaire GPU Solveur BiCGStab + ILU(0) (non
structuré)
ILU(0) GPU Coloriage de graphe: forte dégradation
de la convergence
Comparaison GPU/CPU: gain d'un facteur 4 sauf sur les petites matrices (coût du coloriage, permutation, transfert...)
Pistes possibles d'amélioration Remplissage (ILUT)
BiCGStab+ILU0
1
26,52
307,9
2,86 8,01
68,39
0
50
100
150
200
250
300
350
Ivak GCS2K SPE10
matrice
t (s)
CPU Xeon E5420 2,5GhzGPU S1070
18
©IF
P
Plateforme logicielle: motivations
Complexification des applications en terme de physique, de méthodes numériques et d'architecture informatique
Exemples d'applications
Modélisation de bassin (géométrie 4D non structurée)
Couplage écoulement – transport réactif (CO2)
Suivi de front dans les procédés thermiques
Plus de modularité et de partage de services Découplage des niveaux de complexité
2500
Y (m)
2000
4000
6000
19
©IF
P
Plateforme Arcane
Plateforme orientée objet pour le développement de codes de calculs parallèles sur maillages non structurés Développé par le CEA-DAM depuis 2000 Collaboration CEA-IFP de co-développement depuis 2007
Adaptée au HPC Objectif de modularité et de partage de services
20
©IF
P
Plateforme ArcGeoSim
Modélisation de bassin
Simulation de réservoir Stockage du CO2
ArcGeoSim
21
©IF
P
Arcane et ArcGeoSim
ArcaneParallélisme | Equilibrage dynamique | Maillage | Module/Service Mngt | I/O | Variables
Geométrie| Failles | Sous-Maillage | AMR | Maillage évolutif
NumériqueSchémas VF – VF Hybrides | Solveurs |
PhysiqueThermodynamique | Hydrodynamique | Chimie
Modules métiersDarcy Polyphasique | Transport Réactif | Puits
22
©IF
PLarge-Eddy Simulation (LES) appliquée aux moteurs avec le code AVBP: 2 premières mondiales
2.5x106
2.0
1.5
1.0
0.5
P [
Pa]
2.5x106
2.0
1.5
1.0
0.5
P [
Pa]
-80 -60 -40 -20 0 20 40CAD
-80 -60 -40 -20 0 20 40CAD
experimental pressure enveloppeexperimental mean pressurefirst LES cycleLES cycles 2—>9
experimental pressure enveloppeexperimental mean pressurefirst LES cycleLES cycles 2—>9
SI
Étude LES de variabilités cycliques dans un monocylindre (LESSCO2, 2006)
LES multi-cycle d'un multicylindre(ANR Campas, 2009)
5j/cycle sur 32 procs Xeon2,5j/cycle sur 256 procsSGI Xeon JADE (CINES)
23
©IF
P
R&D of piston engine LES @ IFP: A highly collaborative approach supported by national & European funds
• 1D/3D coupling for BCs of aerodynamics and liquid injection• study CCV and capitalise in form of models for system simulation
LMS, PoliMi, AVL, FEV, Ricardo, LAT, CTU.
EC FP7'09-'12
LESSCCV
• develop E/E and E/L models for liquid injection• validate on experimental data
Renault, PSA, Coria, IMFT
ANR'08-'11
SIGLE
• tools for pre- and post-processing on massively parallel machines • demonstrate LES of a multi-cylinder engine
Cerfacs, CINES, EM2c
ANR'07-'10
CamPaS
• acquire a dedicated engine database• develop and validate methodologies for predicting cyclic variability
Renault, PSA, Cerfacs
ANR'07-'10
SGEmac
• numerical methods• premixed combustion modelling• mesh management
Renault, PSA, BMW, RWTH, IMFT, QUB, LTH
EC FP5'02-'06
LESSCO2
ObjectivesPartners: IFP +FundingProject
24
©IF
P
Quelques enjeux pour le HPC Caractéristiques des LES de moteurs à piston
Maillages de taille inférieure à 20 106 mailles Temps de simulation longs
Plusieurs secondes pour réaliser des simulations couvrant plusieurs dizaines de cycles
Implications La parallélisation massive seule ne peut pas répondre au
besoin de temps de retour court (objectif: << 1j de calcul par cycle)
Il faut des calculs plus rapides: processeurs puissants (ex: SGI Xeon JADE du CINES) exploiter les accélérateurs matériels (GPU) méthodes numériques performantes, précises et stables
25
©IF
P
Conclusions
Objectif dans ces deux applications = scalabilité ànombre de maille fixé
Limitation actuelle liée au nombre critique de mailles par coeur 5000 en explicite pour la LES dans AVBP 50 000 en implicite pour AMG
Recherches sur les algorithmes et leur adaptation aux nouvelles architectures
Mieux maîtriser la complexité des applications àl'échelle industrielle Méthodes numériques plus performantes