Neues aus dem DFN-NOC

DFN Betriebstagung | 20.3.2019

Thomas Schmid

Agenda

I. Update seit letzter BT

II. neue Mitigationsinfrastruktur

III. Cisco-Cases

IV. 100G Upgrades

V. VPLS im X-WiN

VI. OOB Migration

VII. NOC: Personal

VIII.RPKI

IX. Ausblick

▸ Optische Platform: TR100-Karten wurden durch TR200-Karten ersetzt▹ 200G pro Wellenlänge im 50 GHz Grid▹ Weniger Strom, weniger Abwärme, höhere Portdichte▹ Einschränkung bei großen Distanzen (>300-400km). Dann nur OTR-100 Signal▹ Flexgrid Unterstützung in nächster Softwareversion für 400G

▸ Routerplatform▹ Peeringupgrades:

▹ ECiX 100G▹ Google 2x100G▹ Netflix, Twitch 2x10G▹ Facebook 4x10G

Updates seit letzter BT

Geant

Google

20.3.2019 70. DFN BT, Bericht aus dem NOC 4

▸ Umbau der Mitigations-Infrastruktur▹ VSM-blades machen Probleme im Betrieb

▹ Keine Unterstützung für IOS-XR 64 bit▹ Probleme mit Routingkonvergenz▹ Probleme bei Upgrades/Reboots

▹ Ablösung durch dedizierte Server▹ An allen 8 Supercore-Standorten▹ Fertigstellung bis Mai▹ Software, Betrieb: DFN-CERT▹ Einbau durch DimensionData

▹ Keine Einschränkung bzgl. Features▹ mehr Bandbreite: 6x10G pro Standort

20.3.2019 70. DFN BT, Bericht aus dem NOC 5

Mit igat ionsinfrastruktur

▸ ASR9k▹ NP-Errors: SMU wird z.Zt. eingespielt▹ VSM-Karten: SMU verfügbar und wird eingespielt

▹ FIB Updates brauchten viel zu lange auf ASR99xx▹ RP schickt Routingupdates per Multicast über die Fabric -> VSM LC hat flowcontrol enabled -> Updates

werden für alle LCs gedrosselt ▹ BGP flowspec: Regeln werden nicht ausgewertet. TAC analysiert derzeit▹ bei Upgrades mit ‚graceful maintenance‘ werden nach Reboot falsche Routen genommen

▹ Workaround vorhanden▹ Bugfix SMU ausstehend

▸ ASR900▹ Probleme mit IPv6 ND▹ Probleme mit Forwarding für manche IPs▹ beide werden derzeit noch untersucht▹ RP crashes ohne Logs

20.3.2019 70. DFN BT, Bericht aus dem NOC 6

Laufende Cisco-Cases

▸ bei Routerwartungen verschicken wir ca. 10min vor der Wartung via BGP die GSHUT community (‚graceful maintenance‘, RFC 8326)▹ Diese kann dazu verwendet werden, das Routing vor dem geplanten Routerausfall

auf die andere Leitung zu lenken▹ wegen eines Bugs wurde dies bisher nicht immer gemacht (s.o.)▹ AS-Pfad wird ebenfalls verlängert

20.3.2019 70. DFN BT, Bericht aus dem NOC 7

Wartungen: BGP GSHUT

Zum Beispiel:ip community-list 1 permit gshutroute-map from-DFN match 10

match community 1set local-preference 10

▸ Immer mehr Anwender werden per 10G auch auf ASR900 angeschlossen

▸ Parallele 10G Links im Kernnetz nicht optimal▹ Lastverteilung nur per VC, also per Anwenderanschluß, nicht per IP-Flow

▹ FAT (flow-aware transport) pseudowire wird mit PWHE (pseudowire head-end) nicht unterstützt

▹ Auch in Richtung Anwender: Verteilung nur per destination MAC auf ASR907▹ Ineffiziente Nutzung der einzelnen Links▹ Roll-Out ab Mai geplant

▹ Hängt u.a. von Verfügbarkeit des IOS-XE Upgrades 16.11 ab

20.3.2019 70. DFN BT, Bericht aus dem NOC 8

ASR900: 100G Upgrades

▸ VPLS als Service geht in Produktion▹ Nutzung intern im OOB Kontext▹ ‚Hessenbox‘ Pilot bei den hessischen Hochschulen

20.3.2019 70. DFN BT, Bericht aus dem NOC 9

VPLS Dienst

X-WiNals L2 Switch

▸ ISDN wird Mitte des Jahres abgeschaltet

▸ Ablösung durch DSL▹ Roll-out im Gange

▸ neue Console Server: PERLE

▸ zusätzlich neue Server an den Standorten für die DSL-Anschlüsse▹ VPN Endpoints, PERLE Zugang

▸ sichere Kommunikation durch OpenVPN+ SSH + VPLS

20.3.2019 70. DFN BT, Bericht aus dem NOC 10

OOB-Migrat ion

▸ Abgänge:▹ Bettina Kauth

▹ Frau der ‚ersten Stunde‘ (1993) am NOC▹ Leitung GS Stuttgart und NOC▹ NOC-Leitung neu: Hubert Waibel

▹ Gunther Schmidt▹ Team Optik

▸ Zugänge:▹ noch keine. Stellenauschreibung läuft

20.3.2019 70. DFN BT, Bericht aus dem NOC 11

Personalveränderungen

▸ das globale Routing hat ein Sicherheitsproblem▹ das AS des Absenders wird nicht geprüft▹ die Prefix-Länge wird nicht geprüft

20.3.2019 70. DFN BT, Bericht aus dem NOC 12

RPKI Problemstel lung

AS 1AS 3AS 2

AS 4

1.2.3.0/24, AS11.2.3.0/24, AS4

1.2.3.0/24, AS11.2.3.0/24, AS1

fehlende Filter

▸ Pakistan Youtube-Event▹ Pakistan wollte Youtube im Land sperren und hat den Prefix versehentlich (?) nach

außen annonciert -> weltweiter Youtube-Ausfall

▸ TTNet Turkey▹ annoncierte das globale Internet als Subnetze -> globale Störung im Routing

▸ Rostelekom 2017▹ Annoncierte Netze von Kreditkartenfirmen um an Daten zu kommen

▸ IPv4 Netzknappheit sorgt für Hijacks

20.3.2019 70. DFN BT, Bericht aus dem NOC 13

Beispiele

20.3.2019 70. DFN BT, Bericht aus dem NOC 14

Abhi l fe

AS 1AS 3AS 2

AS 4

1.2.3.0/24, AS1

1.2.3.0/24, AS4

1.2.3.0/24, AS11.2.3.0/24, AS1

fehlende Filter

Datenbankabfrage: ist AS4 legitime Source?

• Die Datenbank wird von den RIRs (in EU: RIPE) betrieben• Routenstatus: valid, invalid, unknown

• Netzbetreiber wählt Aktion (drop/depref/nichts) basierend auf Status• IETF: SIDR (secure interdomain routing)

1.2.3.0/24, AS1

X

legitimesAnnouncement

20.3.2019 70. DFN BT, Bericht aus dem NOC 15

RPKI

Quelle: www.ripe.netVertrauenswürdiger als reine Datenbank-Abfrage

▸ RPKI in der jetzigen Form löst aber nicht alle Probleme▹ keine Path-Validation▹ Absende-AS lässt sich fälschen▹ Löcher, wenn nicht alle ISPs teilnehmen▹ Abdeckung wächst, aber noch langsam

▸ DFN erstellt ROAs (Route Origin Authorization, Signierung der Routen in der Datenbank) bei RIPE für eigene Netze und für Netze, für die der DFN sponsoring LIR ist▹ zum Großteil abgeschlossen▹ benötigt DFN-LIR-MNT im org-Objekt der Einrichtung

▹ Kontakt: hostmaster@dfn.de▹ Validierung im X-WiN noch nicht implementiert, Monitoring vorhanden

20.3.2019 70. DFN BT, Bericht aus dem NOC 16

RPKI

▸ Laufende Projekte▹ 100G Upgrades▹ OOB Migration▹ Mitigationsplatform▹ DMON: Neuimplementierung des Netzmonitoring

▸ Evaluierung neuer Technologien▹ Segment Routing▹ 64bit IOS-XR▹ Automation und Orchestration

▹ Slack? Ansible?▹ Telemetry

20.3.2019 70. DFN BT, Bericht aus dem NOC 17

Ausbl ick

Haben Sie noch Fragen?