1

Router Testing: The State of the Art

Benutzergruppe Netzwerke13. Mai 2004

Carsten Rossenhövel, EANTCwww.eantc.com

2

ÜbersichtBedeutung von Tests für Hersteller undNetzbetreiberEinführung in moderne TestverfahrenNeue Anforderungen durch neueRouter-Anwendungen

3

Warum überhaupt noch testen?Routingtechnologie ist 20 Jahre alt!Ist nicht alles bereits gemessen?

Routingprotokolle BGP, OSPFPhysik von Ethernet, SDH, Frame RelayÜbertragungsleistung (data forwarding)

4

Warum testen? (2)Anforderungen an Netze wachsen weiterNetzausfälle werden teurer: Höhere Verfügbarkeit gefordertNetze werden größer: SkalierbarkeitNetze werden stärker angegriffen: Höhere Sicherheit gefordertKunden werden anspruchsvoller: Mehr Leistung und neue Features gefordert

5

Wer testet?

Hersteller bei der ProdukteinführungCarrier, Service Provider und Unternehmen zur Überprüfung ihrer individuellen AnforderungenZeitschriften, Showcases:Zur Demonstration und/oder zum Produktvergleich für die Öffentlichkeit

6

Testphasen bei Herstellern

ProduktentwicklungKorrekte Software/Hardware Funktion prüfenQualitätssicherung und RegressionstestSo früh wie möglich Geräte bis an die Grenzen belasten (nicht erst im Kundennetz)Proof of ConceptImplementierung in realistischer Ende-zu-Ende Netzumgebung testen, ähnlich Kundenszenarien

Produkt-enwicklung

Qualitäts-sicherung

Ausschrei-bungstest Abnahme-

Test

Proof of Concept

Trouble-shooting

Product Life Cycle

7

Testphasen von Netzbetreibern

AusschreibungstestsEignung von Systemen in einer individuellen Kundenumgebung prüfenAbnahmetests (vor Inbetriebnahme)Korrekte Funktion aller Router in einer neuen Kundeninstallation sicherstellenTroubleshootingFehler in einem Produktionsnetz analysieren

Produkt-enwicklung

Qualitäts-sicherung

Ausschrei-bungstest Abnahme-

Test

Proof of Concept

Trouble-shooting

Product Life Cycle

8

Klassifizierung der TestmethodenConformance / FunctionalityRouter gegen einen Standard testen

Performance / BenchmarkingLeistung eines Gerätes oder einesganzen Netzes ermitteln

l InteroperabilityVerschiedene Routertypen gegeneinander testen

l MonitoringNetzprobleme analysieren

9

Router isoliert testen?

Isolierte Konfigurationtested Routing Engineund Switchingleistung

Größere Netzumgebungbelastet den Router durchviele Ports und Protokolle,erlaubt Konvergenztests

TestPort 1

TestPort 2Device

Under Test

SystemUnder Test

TestPort 1

Test Port 3

TestPort 2

10

Test Matrix

üüüAusschreibungstests

üüüAbnahmetests

üüüTroubleshooting

üüProof of Concept

üüüüQualitätssicherung

Monitoring

ü

Leistung and Benchmarking

üProduktentwicklung

Inter-operability

Conformance and

Functionality

à Leistungstests sind in allen Bereichen gefragt!

11

»Klassische« Leistungstests

Standard-Leistungsmerkmale von Routern:IP Packet Forwarding

Maximum port/device/networkbandwidth, latency, jitter, and lossTraffic classification, queuing

Control protocolsSignaling (MPLS, ATM)Switching and routing protocolsfunctionality (RIP, OSPF, BGP)

Router managementSNMP

Diese Messungen reichen nicht aus!

12

State-Of-The-ArtBewertungs-methoden

13

»State of the Art« Testbereiche

Zunehmende Anforderungen durch Echtzeit IP Verkehr:à Videoströme fehler- und unterbrechungsfreià Sprachverbindungen müssen stets funktio-

nieren und qualitativ ISDN ähnelnNeue Applikationen setzen Routerdienste voraus: à Hochverfügbare, redundante Netzeà Multicast Transport, IPv6 Unterstützung

Globales Ziel: Realistische Tests implementierenà Control/Data Plane Tests integrierenà Signalisierung/Routing unter Datenlast testen

14

Was tut die IETF?

Benchmarking Working Group (BMWG)entwickelt Teststandards für:IP MulticastIpsecOSPF, BGP ConvergenceSoftware Accelerated Life Testing

15

Routing KonvergenzInterior Gateway Protocol (IGP) Konvergenz ist mittlerweile eines der am meisten diskutierten BewertungskriterienRouting-Umschaltungen verursachen heute Paketverluste, die für Echtzeitanwendungen nicht tragbar sindZiel der Industrie: < 1 sec Konvergenztime (bestätigt durch Service Provider und Hersteller)Bezieht sich auf IS-IS, OSPFà IETF draft im Gespräch

16

Routing Konvergenz Test Setup

Test Configuration And Proceduren Simulate topology with many routes

advertised via routing protocoln Analyzer sends line rate traffic to

router to all routes (destinations)n Router has two paths (via Link 1

and Link 2) to reach destinations, preferring Link 1 with lower cost

n Network event reroutes traffic to Link 2

n Observe loss of traffic forwarding and recovery

n Calculate convergence time

Link 1 (Primary)

Link 2 (Secondary)

Router under Test

Load Generator emulatinga large network with many routes

Failover

17

Beispiel: Konvergenzzeit-Analyse

Convergence Time

Route Convergence EventTransition

Route Convergence RecoveryTransition

Convergence End TimeConvergence Start Time

Packet Loss

Konvergenzzeit ist definiert als die Zeit vom Beginn desPaketverlustes bis zur vollständigen Wiederherstellung derDatenübertragung, NICHT nur Paketverlust durch Paketrate!

Ban

dwid

th

Time

100%

18

„Klimakammertests“(Accelerated Life Testing)

Leistungsmessungen waren bisher auf einzelne Aspekte bezogenNicht immer repräsentativ für reale Situation mit vielen gleichzeitigen Aktionen/ProtokollenIETF Draft bestimmt: Leistungstests müssen unter Betriebsbedingungen stattfinden!à Gleichzeitig alle Protokolle, Policies, Verkehrs-

ströme, Management konfigurierenà Lebenszeit des Routers in einem kurzen Zeitraum

emulieren, indem alle Protokolle mit maximalerLeistung gefahren werden

19

Klimakammertests (2)

TrafficProfiles

Data Plane

UserAccess

SNMP

Logging /Debug

Management Plane

Packet StatisticsCollection

Router under TestRoutingProtocols

MulticastProtocols

MPLSProtocols

Control Plane

ACL SecureProtocols

UserLogin

Security Plane

20

Ausblick auf zukünftige Entwicklungen

21

Router können sehr unterschiedliche Funktionen ausführen ...

MPLS/BGP VPNs

Traffic Engineering

DiffServ

Layer 2 Switching Domains

VPLS

Video MulticastIPsec

Stateful Firewall

MPLS L2 VPNs

Optical Signaling (GMPLS)PPPoX, AAA

IPv6

Security Functions

Broadband Aggregation

22

Trend: Dienste testen statt Basisfunktionen

Ende-zu-Ende VPNs in einem gerouteten Backbone überprüfenLayer 2 (ATM, Ethernet, Frame Relay) und Layer 3 VPN-Funktionalitäten werden zunehmend in Router integriertAnspruchsvoll und komplex: Viele Protokollhierarchien und verschiedene IP Adressräume in einem einzigen Test

23

Trend: Spezielle Gerätetypen testen

Router tun mittlerweile viel mehr als nur IP-Pakete an ihr Ziel zu bringenFirewalls, Content- und Application Switching, Soft Switching (Telefonie) und andere Funktionen werden zunehmend in Router integriertSolche Funktionen im Router benötigen spezielle Emulatoren und Messmethoden

24

Trend: Stateful Traffic TestingNützlich besonders für Edge Router, die “Sitzungen” verwalten (z.B. PPP Sessions, Multicast Group Memberships, Firewall Filter)“Fill-the-pipe” Szenario mit zustandslosem Hintergrund-Verkehr zur Lasterzeugung, plus einer kleinen Menge zustandsbehafteten Vordergrund-VerkehrsZiel: Antwortzeiten auf derAnwendungsebene messen

Stateless background trafficStateful foreground traffic

25

Abschließend …Noch vor zwei Jahren schienen Leistungsmessungen von Routern eine einfache, wohldefinierte Aufgabe zu seinInnovationen der Routerhersteller machen einen deutlichen Wandel auch bei den Prüftechniken notwendigSinnvolle Ergebnisse werden durch die Kombination individueller Tests erzielt

26

Vielen Dank für Ihr Interesse!Wünschen Sie mehr Informationen?EANTC AGEinsteinufer 17D-10587 Berlin

Telefon: 030/3180595-0Fax: 030/3180595-10E-Mail: info@eantc.deWeb: www.eantc.de