Deutsches Forschungsnetz

Seite 2

N E U E S I M X - WiN

49. DFN-Betriebstagung * 21. - 22. 10. 2008Hans-Martin Adler

DFN-Geschäftsstelle10178 Berlin, Alexanderplatz 1

Tel: 030/88429923 e-mail:adler@dfn.de

Seite 3

N E U E S I M X - WiN

49. DFN-Betriebstagung * 21. - 22. 10. 2008Hans-Martin Adler

DFN-Geschäftsstelle10178 Berlin, Alexanderplatz 1

Tel: 030/88429923 e-mail:adler@dfn.de

Seite 4

Themen

• Optische Plattform• IP-Plattform /Außenanbindungen• ICMP-Überwachung• Standort-Stromversorgung • Leistungssteigerung 2009

Seite 5

Optische Plattform

• 82 (52) Glasfaserabschnitte

• ca. 8.400 (6.700) km

• Faserkreuz, NRW-Ring, DWD-Netz

• DWD-Netz 10 neue Standorte mit DWDM-technik

• 12 neue Abschnitte ab Mitte 2008

Seite 6

X-WiN- Faser-Topologie

FFO

GAR

ERL

BAY

FZJ

AAC BIR

POTTUB

FZK

GSI

DUI

BRE

HAN

BRA MAGBIE

FRA

HEI

STU

REG

DRE

CHE

ZIB

ILM

LEI

JEN

ESF

HUBADH

AWI

Richtung Basel

KEH

BAS

MUE

ENS

STB

KAISAA

ZEU

HAMDES

DKR

KIE

ROS

SLU

Januar 2008

BON

KAS

PAD

GIEMAR

GOE

Faser KPNFaser GLFaser GC

Faser andere

WINGAS

DOR

WUP

BOC

Seite 7

FFO

GAR

ERL

BAY

FZJ

AAC BIR

POTTUB

FZK

GSI

DUI

BRE

HAN

BRA MAGBIE

FRA

HEI

STU

REG

DRE

CHE

ZIB

ILM

LEI

JEN

ESF

HUBADH

AWI

Richtung Basel

KEH

BAS

MUE

ENS

STB

KAISAA

ZEU

HAMDES

DKR

KIE

ROS

SLU

Januar2008

BON

KAS

PAD

GIEMAR

GOEDOR

WUP

BOC

EWE

AUG

WUE

X-WiN-Topologie(Fasern und Wellenlängen)

Faser KPNFaser GLFaser GC

Faser andere

WINGAS

Wellenlänge

Seite 8

Verbindungen auf der optischen Plattform

DFNInternet VPNProtokoll/

Bandbreite DFN Faser CarrierVerbindung

DFN Faser CarrierVerbindung

2,5 Gbit/s SDH 0 0 0 0

10 Gbit/s SDH 0 0 2 0

1 GE 5 7 28 0

10 GE 63 8 13 0

Summe 68 15 43 0

Gesamt 83 43

Optische Plattform - Ausfälle und Wartungen

• Bisher nur 3 Ausfälle, alle im September

• Dauer: 16,5 Stunden

• Dafür über 200 Stunden Ausfall durch Wartung

• Anwenderanschlüsse waren davon nicht betroffen

Seite 10

DFNInternet Dienst : 538 (522) Anwender Stand: 20.10.2008 (ohne BelWü mit 46 Anwender + 146 Mitnutzern)

Kategorie Bandbreite (Mbit/s) Anzahl Anzahl ClusterXI01 2 1 2XI02 20 78 15XI03 34 18 7XI04 50 16 9XI05 100 86 17XI06 150 40 19XI07 300 26 4XI08 600 6 4XI10 1.000 12 10XI11 2.000 2 8XI12 5.000 1 4XI13 10.000 0 0XI14 2x10.000 1 1

Summe 287 100XPI02-04 28M1+M2 123

Seite 11

IP- Plattform

• Neuer Knoten am PIK (Potsdam Telegrafenberg)

• Aufbau der Knoten in BOC, DOR, PAD und WUP

Seite 12

FZK

IP-Plattform: Oktober 2008

BIE

MUE

DUI

BIR

GOEKAS

MAR

GIE

FRA

GSI HEI STU GAR

BAY

REG

AUG

ERL

POT

ILMJEN

LEI

CHE

DRE

HAN

BRE DES TUB

ZIB ADH

HUB

KIE ROS GREEWE

BRA

SAA

AAC

HAM

FFO

2x10GE10GE1GEKAI

WUE

FRACRS-

POTCRS-

HANCRS-

ERLCRS-

MAG

XR 47 CISCO7609

AWI

KR

T-Internet

T-Internet

BON

FZJ

ZEU

PAD

BOC

DOR

WUP

PIK

Seite 13

europäische und nordamerikanische

Wissenschaftsnetze

Peerings mit ISPs

Sonstige ISPbilaterale PeeringsPeering mit T-Internet

T-InterConnect

X-WiN AnwenderAnschlüsse DFN-Internet

Global Upstreamalle sonstigen Ziele im globalen Internet

„Exportiertes Datenvolumen“: Summe der gesendeten Daten

über alle Anschlüsse

X-WiN

Statistik: Messpunkte

Seite 14

Exportiertes Datenvolumen

0

500

1.000

1.500

2.000

2.500

3.000

3.500

4.000

4.500

5.000

Sep 0

7

Okt 07

Nov 0

7

Dez

07

Jan 0

8

Feb 0

8

Mrz

08

Apr

08

Mai 08

Jun 0

8

Jul 08

Aug 0

8

Sep 0

8

TByte

Monat (Vorjahresmonat links)

exportiertes Datenvolumen X-WiN Kernnetzfür die Jahre 2006-2008

DFN->Global UpstreamDFN->GéantDFN->T-InternetDFN->ISPsX-WiN-Anwender

Seite 15

Außenanbindungen: DFNInternet-Dienst

Europäische Forschungsnetze

12 Gbit/s

10 GE

Forschungsnetze

Nordamerika

12 nationale private Peerings

X-WiN

10 GE 10 GE

Global Upstream

2x10 GE 85 ISPs

T-Internet 2 x 2,5 Gbit/s

Seite 16

Ausfälle

• 14.06.08 10:30 Uhr – 11:50 Uhr– Ausfall des Standortes Erlangen– Ursache: Brand im Batterieraum, starke

Rauchentwicklung, kein Schaden am Equipment• 11.08.08 22:00 Uhr – 12.08.08. 6:00 Uhr– Isolierung des Standortes Augsburg– Ursache: Blitzeinschlag in die Nähe der Kabeltrasse,

durch Wärmentwicklung Muffe zerstört, Entstörung durch starkes Unwetter behindert,

– Aber: Kernnetzverbindungen wurden nicht redundant geführt!

Seite 17

Überwachung der Ethernet-Anschlüsse

Überwachung erfolgt mit ICMP (Internet Control Message Protocol)

• Überwacher sendet ICMP-“Echo-Request“-Paket (Ping) an KR• KR antwortet mit ICMP „Echo-Reply“

Ist KR nicht erreichbar, erfolgt Reaktion desÜberwachers:

– 1. Anrufen des Anwenders: Gibt es ein Problem am KR (Stromausfall, Update, Wartung...)?

– 2. Wenn Anwender nicht erreichbar: Anfrage beim Betreiber der Zugangsleitung

Seite 18

Überwachung der Ethernet-Anschlüsse

• Start am 06.06.08 nach Informations-Mail an an alle Anwender:r::tssennwssB. Leitwarten bei Stromausfall)

l)

Seite 19

• positives Echo auf Mails• Ein Anwender erlaubt keine Pings

Überwachung wird in der X-WiN-Datenbank gesperrt

300 Anwender in der Überwachung62 KR antworten nicht

DOS-Angriff auf Router mit Multicast-AdresseEin KR booted alle 48 Stunden

Erste Bilanz

Bilanz 06.06. – 30.09.08 (616 TTs)

Seite 20

0

10

20

30

40

50

60

70

80

90

01/08 02/08 03/08 04/08 05/08 06/08 07/08 08/08 09/08

Summe TT

davon Anschlüsse

davon ICMP

Seite 21

Standortstromversorgung

• Wo möglich und nötig „DFN-Strom“ für X-Geräte, d. h.

- mindestens 2 Stunden Strom ohne Unterbrechung– Remote-Überwachung der USV und der

Stromversorgung– regelmäßige (jährliche) Überprüfung der

Stromversorgung an den Standorten

• Massnahmeplan für jeden Standort

Aktionen

• Umbau an 22 Standorten geplant• 10 in Arbeit, 4 fertig

• Ablauf:− Vorschlag für möglichen Standort der USV vom

DFN-Verein− Planung gemeinsam mit der Einrichtung− Aufträge an lokale Elektriker− Auftrag an USV-Firma für Neuanschluss der

X-WiN-Geräte

Seite 22

Seite 23

Stromanschluss am X-WiN-Standort

Szenario der doppelten Anbindung

Seite 24

Anwender-LAN

XR B

KR

Hauptleitung (HL) Nebenleitung (NL)

XR A

Leistungssteigerung 2009

• Nach MV Mail an Anwender mit Abfrage:

– Redundante Anbindung (Musterkonfiguration verfügbar)

oder

– Einfache Anbindung (höhere Bandbreite)

Seite 25

Leistungssteigerung 2009:

• Konfigurationspapier vom DFN-NOC(Erhöhte Verfügbarkeit im X-WiN durch redundante Anbindung)

− Routing erfolgt über BGP mit privaten AS Nummern

• Szenario 1: Nutzung der Nebenleitung für Backup− Backup mit einem oder 2 Routern

• Szenario 2: Nutzung der Nebenleitung im laufenden Betrieb

− Lastverteilung übernimmt Anwender

Seite 26

Verfahren Redundanz

• Auswahl der Nebenleitung entsprechend dem Ergebnis der Ausschreibung

• Anfrage nach redundanter Wegeführung an Carrier

• Darstellung der Wegeführung und Kosten durch die Carrier

• Abstimmung mit den Anwendern (wenn z.B. vollständige Redundanz nicht möglich, eventuell anderer Standort auf dem Campus)

• Auftrag zur Schaltung an Carrier

Seite 27

Darstellung der Wegeführung

Seite 28

Erfahrungen 1

• Erkundung der neuen Wegeführung dauert sehr lange (ca. 4 - 8 Wochen)

• Wenn zu teuer, Suche nach Ausweg oder anderen Carrier zu anderem Standort

• Nach Auftrag, in der Regel Bauarbeiten notwendig

• Beschaffungen der Anwender

Seite 29

Erfahrungen 2

• Redundante Anbindung muss auch im Anwender-LAN umgesetzt werden (neue Router, neue Konzepte,…)

• Bandbreitenerhöhung bei Anwendern, die schon Backup haben (BR, DIN, BRAIN-Einrichtungen,…)

Seite 30

Status: 20.10.2008

• 193 Antworten auf 379 Mails:

– 119 Redundanz– 59 Bandbreite– 3 „Downgrade“– 12 Musterkonfiguration angefordert

• natürlich viele telefonische Kontakte

Seite 31

Seite 32

Fragen ...?

? ??