Grundlagen der Rechnerarchitektur - userpages.uni-koblenz.deunikorn/lehre/gdra/ss19/04...

Grundlagen der Rechnerarchitektur

Prozessor

Übersicht• Datenpfad• Control• Pipelining• Data‐Hazards• Control‐Hazards• Multiple‐Issue

2Grundlagen der Rechnerarchitektur ‐ Prozessor

Datenpfad einer einfachen MIPS‐CPU

Grundlagen der Rechnerarchitektur ‐ Prozessor 3

Konstruktion des Datenpfads einer einfachen MIPS‐CPU als Blockschaltbild. Die CPU hat 32 Register und soll folgende MIPS‐Instruktionen realisieren:

Instruktionen für Speicherzugriff: lw, swlw $s1, 4($s2) # $s1 = Memory[$s2+4]sw $s1, 4($s2) # Memory[$s2+4] = $s1

Arithmetisch‐logische Instruktionen: add, sub, and, or, sltadd $s0, $s1, $s2 # $s0 = $s1 + $s2slt $s0, $s1, $s2 # $s0 = ($s1<$s2)? 1 : 0

Branch‐ Instruktion: beqbeq $s1, $s2, 4096 # $pc = $pc + 4 + 4096<<2, wenn $s1=$s2

Datenpfad einer einfachen MIPS‐CPUErster Abschnitt des Datenpfades

Benötigte Bausteine

Grundlagen der Rechnerarchitektur ‐ Logik und Arithmetik 6Bildquelle: David A. Patterson und John L. Hennessy, „Computer Organization and Design“, Fourth Edition, 2012

Speicherbaustein in dem die abzuarbeitenden Instruktionen stehen. „Instruction Address“ ist 32‐Bit groß. Wenn an den Leitungen „Instruction Address“ eine Adresse anliegt, liegt im nächsten Taktzyklus eine 32‐Bit lange Instruktion auf den „Instruction“ Leitungen.

Register in dem der Programm‐Counter steht. Hier steht die Adresse der nächsten abzuarbeitenden Instruktion.

Eine ALU, die fest auf die Funktion Addieren verdrahtet ist. Mit dieser ALU wird der Program‐Counter in 4er Schritten erhöht, um auf die nächste folgende Instruktion zu zeigen.

Erster Schritt der Instruktionsausführung

Mit dem neuen Clock‐Signal passiert folgendes:

Instruction‐Fetch:Lag der Program‐Counter‐Wert seit dem letzten Clock‐Signal am Instruction‐Memory an, erscheint mit dem nächsten Clock‐Signal die nächste auszuführende Instruktion an der Instruction‐Leitung.

Program‐Counter erhöhen:Damit der Speicher schon mit dem Bereitstellen der nächsten Instruktion beginnen kann, wird der Program‐Counter direkt zu Beginn der Instruktionsabarbeitung auf die nächste abzuarbeitende Instruktion gesetzt.

Das Blockschaltbild dazu

Datenpfad einer einfachen MIPS‐CPUArithmetische‐Logische Operationen

Erinnerung, Instruktionen vom R‐Typ‐Format:

Solche Instruktionen machen immer folgendes:• Lese zwei Register (src1 und src2)• Führe eine ALU‐Operation darauf aus• Schreibe Ergebnis zurück in ein Register (dest)

Alle hier zu realisierenden arithmetisch‐logischen Instruktionen (d.h. add, sub, and, or, slt) sind R‐Typ‐Instruktionen.

Zum Speichern der Registerinhalte und zur Durchführung der Rechenoperationen benötigen wir zwei weitere Bausteine.

Betrachten zunächst R‐Typ‐Instruktionen

opcode src1 src2 dest shamt funct6 Bit 5 Bit 5 Bit 5 Bit 5 Bit 6 Bit

R‐Typ(Register‐Typ)

31 26 25 21 20 16 15 11 10 6 5 0

Register‐File und ALU

Auf den Read‐Data‐Leitungen liegen die 32‐Bit‐Inhalte der Register, die den 5‐Bit‐Read‐Register‐Inputs entsprechen. Ein Register‐File ist wesentlich schneller als der Speicher. Daten liegen in einem Instruktionszyklus unmittelbar auf den Read‐Data‐Leitungen vor. In einem Taktzyklus überschriebener Registerinhalt ist erst im darauf folgenden auf den Read‐Data‐Leitungen sichtbar.Zum Schreiben in ein Register müssen die Daten auf den Write‐Data‐Leitungen vorliegen und die RegWrite‐Leitung muss aktiv sein.

Die ALU rechnet auf 32‐Bit‐Werten. Die ALU‐Operation wird über die 4‐Bit ALU‐Operation‐Leitungen gewählt; hierzu später mehr. Die Zero‐Leitung ist 0, wenn das ALU‐Ergebnis 0 ergab.

Bildquelle: David A. Patterson und John L. Hennessy, „Computer Organization and Design“, Fourth Edition, 2012

Erweiterung des Blockschaltbilds

Datenpfad einer einfachen MIPS‐CPUDie Branch‐Instruktion beq

Betrachten nun Branch‐Instruktion beq

Erinnerung, Branch‐Instruktionen beq ist vom I‐Typ‐Format:

beq‐Instruktion macht immer folgendes:• Ziehe zwei Register voneinander ab (reg1 und reg2)• Wenn das Ergebnis ungleich 0: nächste Instruktion ist bei PC+4• Wenn das Ergebnis gleich 0 :

• Sign‐Extension von 16‐Bit‐Offset auf 32‐Bit Zahl x• x = 4*x (lässt sich durch ein Links‐Shift von 2 erreichen)• nächste Instruktion ist bei PC+4+x

Berechnung reg1 ‐ reg2 ist durch den Datenpfad schon realisiert.Für den Rest brauchen wir noch zwei neue Bausteine:

31 26 25 21 20 16 15 0opcode reg1 reg2 Offset6 Bit 5 Bit 5 Bit 16 Bit

I‐Typ(Immediate‐Typ)

Sign‐Extend und Shift‐Left 2

Grundlagen der Rechnerarchitektur ‐ Logik und Arithmetik 15

Sign‐Extend

Vorzeichenbehaftetes Ausweiten von k auf n

Leitungen (z.B. 16 auf 32).

Shift‐Left 2

Links oder Rechts‐Shift von Leitungen (z.B. Shift‐Left 2)

Wir müssen außerdem eine Auswahl treffen• Wenn die aktuelle Instruktion ein beq ist, dann berechne den PC nach vorhin beschriebener Vorschrift.

• Wenn die Instruktion kein beq ist, dann bestimme den PC wie bisher gehabt; also PC=PC+4.

• Zum Treffen von Auswahlen brauchen wir eine weiteren Bausteintyp:

Multiplexer

0 Mux 1Select

Für ein Bit Für n Bit(z.B. 32 Bit)

0 Mux 1Select

C = A, wenn Select = 0C = B, wenn Select = 1

Für n‐Bit‐Select(z.B. 2 Bit)

MuxSelect

C = A0, wenn Select = 00C = A1, wenn Select = 01C = A2, wenn Select = 10C = A3, wenn Select = 11

Datenpfad einer einfachen MIPS‐CPUZugriff auf den Datenspeicher

Betrachten nun Load‐ und Store‐Word

Erinnerung, Instruktionen lw und sw sind vom I‐Typ‐Format:

Die Adresse des Speicherzugriffs berechnet sich wie folgt:• Sign‐Extension von 16‐Bit‐Offset auf 32‐Bit Zahl x• Adresse ist Inhalt von reg1 + xHierzu werden wir vorhandene ALU und Sign‐Extend mitbenutzen

Der Speicherinhalt wird dann• bei lw in Register reg2 geschrieben• bei sw mit Registerinhalt von reg2 überschrieben

Zur Vereinfachung trennen wir im Folgenden den Speicher der Instruktionen vom Speicher der Daten. Letzterer ist wie folgt:

31 26 25 21 20 16 15 0opcode reg1 reg2 Offset6 Bit 5 Bit 5 Bit 16 Bit

I‐Typ(Immediate‐Typ)

Datenspeicher

Speicherbaustein in dem die Daten liegen. „Address“, „Write‐Data“ und „Read‐Data“ sind 32‐Bit groß. In keinem Taktzyklus wird gleichzeitig gelesen und geschrieben. Schreiben oder lesen wird über Signale an MemWrite und MemRead durchgeführt. Der Grund für ein MemRead ist, dass sicher gestellt sein muss, dass die anliegende Adresse gültig ist (mehr dazu im Kapitel Speicher).

Eine Übung zum Abschluss

Wie lässt sich das Blockschaltbild des Datenpfads erweitern, sodass auch die MIPS‐Instruktion j unterstützt wird?

Zur Erinnerung:

j 4096 # $pc = 4096<<2 + oberste vier# Bit von $pc

Control einer einfachen MIPS‐CPU

Bisher haben wir lediglich den Datenpfad einer einfachen MIPS‐CPU entworfen.

Die Steuerleitungen der einzelnen Bausteine zeigen noch ins Leere.

Jetzt wollen wir festlegen, wann zur Abarbeitung unserer Instruktionen (d.h. lw, sw,add, sub, and, or, slt,beq ) welche Steuerleitungen an oder aus sein sollen. Den Baustein der das macht, nennt man „Control“.

Wir trennen die Control in zwei Teile:ALU‐Control: Legt für jeden Befehl die ALU‐Operation fest.Main‐Unit‐Control: Legt für jeden Befehl die übrigen Steuerleitungen fest.

Wir verwenden auf den nächsten Folien die folgende Terminologie:Steuerleitung an: assertedSteuerleitung aus: deasserted

Control einer einfachen MIPS‐CPUALU‐Control

Vorüberlegung: Die passenden ALU‐Funktionen

Grundlagen der Rechnerarchitektur ‐ Prozessor 27Bildquelle: David A. Patterson und John L. Hennessy, „Computer Organization and Design“, Fourth Edition, 2012

Control‐Eingänge der betrachteten ALU

• Für Load‐ und Store‐Instruktionen lw, sw brauchen wir die ALU‐Funktion add.

• Für die arithmetisch‐logischen Instruktionen add, sub, and, or,slt brauchen wir die entsprechende passende ALU‐Funktion.

• Für die Branch‐Instruktion beq brauchen wir die ALU‐Funktion sub.

Vorüberlegung: die Instruktionsformate

Wenn der Wert von Bit 31 bis 26 in der gefetchten Instruktion gleich• 0: arithmetisch‐logische Instruktion (d.h. add,sub,and,or,slt).Die Funktion ist mit dem Wert von Bit 5 bis 0 festgelegt.

• 35 oder 43: Load‐ bzw. Store‐Instruktion (d.h. lw, sw).

• 4: Branch‐Instruktion (d.h. beq).

(I-type)

ALU‐Control

Belegung der ALU‐Steuerleitungen, so dass die ALU die richtigen ALU‐Operation ausführt.

Ausgabe Eingabe

5‐Bit‐Funct‐Field der Instruktion

ALUOp in Abhängigkeit des Instruktionstyps

In einer Wahrheitstabelle zusammengefasst

Eingabe Ausgabe

Daraus lässt sich mechanisch eine kombinatorische Schaltung generieren, die wir im Folgenden mit dem ALU‐Control‐Symbol abstrakt darstellen.

ALU‐Control

Instruction[5:0]

(also das Funct‐Field der Instruktion)

ALU‐Operation

Control einer einfachen MIPS‐CPUMain‐Unit‐Control

Opcode bestimmt Steuerleitungsbelegungen

Instruction RegDst ALUSrcMemto‐Reg

Reg‐Write

Mem‐Read

Mem‐Write Branch

ALU‐Op1

ALU‐Op0

R‐format (0)

lw (35)

sw (43)

beq (4)Bildquelle: David A. Patterson und John L. Hennessy, „Computer Organization and Design“, Fourth Edition, 2012

Eingabe:Instruction [31‐26] Ausgabe

Auch hier wieder

Aus voriger Wahrheitstabelle lässt sich mechanisch eine kombinatorische Schaltung generieren, die wir im Folgenden mit dem Control‐Symbol abstrakt darstellen.

ControlInstruction[31—26](also: das Opcode‐Field der Instruktion)

RegDstBranchMemReadMemtoRegALUOpMemWriteALUSrcRegWrite

Beispiel für eine R‐Typ‐Instruktion

• Instruktion wird gefetched und PC um 4 erhöht.• Die Register $t2 (Instruction [25‐21]) und $t3 (Instruction [20‐16]) werden aus dem Register‐File geladen.

• Die ALU führt die in dem Function‐Field (Instruction[5‐0]) codierte Operation auf den gelesenen Register‐Daten aus.

• Das Ergebnis der ALU wird in Register $t1 (Instruction[15‐11]) zurück geschrieben.

add $t1, $t2, $t3

Beispiel für eine Load/Save‐Instruktion

• Instruktion wird gefetched und PC um 4 erhöht.• Das Register $t2 (Instruction [25‐21]) wird aus dem Register‐File geladen.

• Die ALU addiert das Register‐Datum und den 32‐Bit Sign‐exteded 16‐Bit‐Immediate‐Wert 8 (Instruction [15‐0]).

• Die Summe aus der ALU wird als Adresse für den Datenspeicher verwendet.

• Das Datum aus dem Datenspeicher wird in das Register‐File geschrieben. Das Register in das geschrieben wird ist $t1 (Instruction [20‐16]).

lw $t1, 8($t2)

Beispiel für eine Branch‐Instruktion

• Instruktion wird gefetched und PC um 4 erhöht.• Die Register $t1 (Instruction [25‐21]) und $t2 (Instruction[20‐16]) werden aus dem Register‐File geladen.

• Die Haupt‐ALU subtrahiert die ausgelesenen Register‐Daten voneinander.Die zusätzliche ALU addiert PC+4 auf den 32‐Bit Sign‐exteded und um 2 nach links geshifteten 16‐Bit‐Immediate‐Wert 42 (Instruction [15‐0]).

• Das Zero‐Ergebins der Haupt‐ALU entscheidet ob der PC auf PC+4 oder auf das Ergebnis der zusätzlichen ALU gesetzt wird.

beq $t1, $t2, 42

Eine Übung zum Abschluss

In der vorigen „Übung zum Abschluss“ wurde das Blockschaltbild des Datenpfads so erweitert, sodass auch die MIPS‐Instruktion junterstützt wird.

Wie müssen Control und Alu‐Control modifiziert werden (wenn überhaupt), damit die MIPS‐Instruktion j auch von Seiten des Control unterstützt wird?

Erinnerung:j addr # Springe pseudo-direkt nach addr

000010 addressOpcodeBits 31‐26

AdresseBits 25‐0

J‐Typ

Pipelining

PipeliningInstruktionszyklen

MIPS‐Instruktionszyklus

Ein MIPS‐Instruktionszklus besteht aus:

1. Instruktion aus dem Speicher holen(IF: Instruction‐Fetch)

2. Instruktion decodieren und Operanden aus Register lesen(ID: Instruction‐Decode/Register‐File‐Read)

3. Ausführen der Instruktion oder Adresse berechnen(EX: Execute/Address‐Calculation)

4. Datenspeicherzugriff(MEM: Memory‐Access)

5. Resultat in Register abspeichern(WB: Write‐Back)

Instruktionszyklen in unserem Blockschaltbild

Instruktionszyklen generell• Instruktionszyklen anderer moderner CPUs haben diese oder eine sehr ähnliche Form von Instruktionszyklen.

• Unterschiede sind z.B.:– Instruktion decodieren und Operanden lesen sind zwei getrennte Schritte. Dies ist z.B. notwendig,

• wenn Instruktionen sehr komplex codiert sind (z.B. x86 Instruktionen der Länge 1 bis 17 Byte)

• wenn Instruktionen Operanden im Speicher anstatt Register haben (z.B. einige Instruktionen bei x86)

PipeliningDie Pipelining‐Idee

Annahme die einzelnen Abschnitte des MIPS‐Instruktionszyklus benötigen folgende Ausführungszeiten:Instruction‐Fetch 200ps, Register‐Read 100ps, ALU‐Operation 200ps, Data‐Access 200ps, Register‐Write 100ps.

Wie hoch dürfen wir unseren Prozessor (ungefähr) Takten?

Die längste Instruktion benötigt 800ps. Also gilt für den Clock‐Cycle c:

Single‐Cycle‐Performance

Die Pipelining‐Idee am Beispiel Wäsche waschen

Waschen

Trocknen

Falten

Einräumen

Bearbeitungszeit pro Wäscheladung bleibt dieselbe (Delay).Gesamtzeit für alle Wäscheladungen sinkt (Throughput).

Was ist die Performance‐Ratio?

Annahme jeder Arbeitsgang beansprucht dieselbe Zeit. Was ist die Performance‐Ratio für n Wäscheladungen?

Generell für k „Pipeline‐Stufen“, d.h. k Arbeitsgänge und gleiche Anzahl Zeiteinheiten t pro Arbeitsgang?

Im Folgenden betrachten wir zunächst ein ganz einfaches Programm:lw $1, 100($0)lw $2, 200($0)lw $3, 300($0)lw $4, 400($0)lw $5, 500($0)

Bemerkung: Da die MIPS‐Registernamen im Folgenden nicht von Bedeutung sind, geben wir in den Programmbeispielen häufig nur noch die Registernummern (z.B. wie oben $0 und $1) an. Außerdem betrachten wir das spezielle Zero‐Register momentan nicht.

Wie kann man die Pipelining‐Idee im Falle unseres MIPS‐Prozessors anwenden?

Pipelining für unseren MIPS‐Prozessor

Die Pipeline nach den ersten drei Instruktionen

Annahme:IF = 200psID = 100psEX = 200psMEM = 200psWB = 100ps

Was ist die Performance‐Ratio?

Wie eben gezeigt wäre für k Pipeline‐Stufen und eine große Zahl an ausgeführten Instruktionen die Performance‐Ratio gleich k, wenn jede Pipeline‐Stufe dieselbe Zeit beanspruchen würde.

Allerdings brauchen die einzelnen Stufen s1,...,sk unterschiedliche Zeiteinheiten: t1,..., tk. Somit ist die Performance‐Ratio für n Instruktionen:

Mit den Zeiten aus dem vorigen Beispiel für n also:

Die Performance‐Ratio wird durch die langsamste Stufe bestimmt.

Taktung

Annahme die einzelnen Abschnitte des MIPS‐Instruktionszyklus benötigen die bisher betrachteten Ausführungszeiten:Instruction‐Fetch 200ps, Register‐Read 100ps, ALU‐Operation 200ps, Data‐Access 200ps, Register‐Write 100ps.

Wie hoch dürfen wir unseren Prozessor (ungefähr) Takten? Die längste Stufe benötigt 200ps. Also gilt für den Clock‐Cycle c:

Achtung: Maximal mögliche Taktung hängt aber auch von anderen Faktoren ab. (Erinnerung: Power‐Wall).

Welchen CPI‐Wert suggeriert das MIPS‐Pipelining‐Beispiel?

Achtung: der CPI‐Wert ist in der Regel höher, wie wir noch sehen.

Der Ansatz ist noch zu naiv

lw $1, 100($0)lw $2, 200($0)lw $3, 300($0)lw $4, 400($0)lw $5, 500($0)Beispiel:

IF ID EX MEM WB

PipeliningPipeline‐Register

Pipeline‐Stufen brauchen Pipeline‐Register

Control

…Änderungim Tafelbild

Write‐Register darf erst in der WB‐Stufe gesetzt werden.

RegDst steht mit der Entscheidung von Control erst in der EX‐Stufe fest.

Wird durchgereicht

Was speichern die Pipeline‐Register?

Wir schauen uns den Weg einer einzigen Instruktion durch die Pipeline an; und zwar den der Load‐Word‐Instruktion lw.

Auf dem Weg durch die Pipeline überlegen wir, was alles in den Pipeline‐Registern IF/ID, ID/EX, EX/MEM und MEM/WB stehen muss.

In der Darstellung verwenden wir folgende Konvention.

Bedeutet: Register/Speicher wird gelesen Bedeutet: Register/Speicher wird beschrieben

IF/ID:• Instruktion• PC+4 (z.B. für beq)

ID/EX:• PC+4 (z.B. für beq)• Inhalt Register 1• Inhalt Register 2• Sign‐ext. Immediate (z.B. für beq)• Das Write‐Register(wird im Letzten Zyklus von lw gebraucht)

Generell: Alles was in einem späteren Clock‐Cycle noch verwendet werden könnte, muss durchgereicht werden.

EX/MEM:• Ergebnis von PC+4+Offset (z.B. für beq)

• Zero der ALU(z.B. für beq)

• Result der ALU

• Register 2 Daten (z.B. für sw)• Das Write‐Register (wird im letzten Zyklus von lw gebraucht)

MEM/WB:• Das geleseneDatum aus demSpeicher (wird dann vonlw im nächsten Zyklus ins Write‐Register geschrieben)

• Das Ergebnis der ALU‐Operation (für diearithmetisch‐logischen Instruktionen)

Für die letzte Pipeline‐Stufe braucht man kein Pipeline‐Register.

Zusätzlich wird noch Control‐Info gespeichert

Control

Zusätzlich wird noch Control‐Info gespeichert

Control hängt von der Instruktion ab. Damit muss Control‐Info erst ab ID/EX‐Register gespeichert werden.

Das ID/EX‐Register muss bereitstellen:• RegDst• ALUOp (2)• ALUSrc

Das EX/MEM‐Register muss bereit stellen:• Branch•MemRead•MemWrite

Werden durch‐gereicht.

Das MEM/WB‐Register muss bereit stellen:• MemtoReg• RegWrite

PipeliningPipelining‐Visualisierung

Pipelining‐Visualisierung

Zusammenfassung der vorhin implizit eingeführten Visualisierungen und Einführung einer neuen Visualisierung.

Wir betrachten folgenden Beispiel‐Code:

lw $10, 20($1)sub $11, $2, $3add $12, $3, $4lw $13, 24($1)add $14, $5, $6

Wir unterscheiden generell zwischen zwei Visualisierungsarten:Single‐Clock‐Cylce‐Pipeline‐Diagramm undMultiple‐Clock‐Cycle‐Pipeline‐Diagramm

Single‐Clock‐Cycle‐Pipeline‐Diagramm

Einfaches Multiple‐Clock‐Cycle‐Pipeline‐Diagramm

Detaillierteres Multiple‐Clock‐Cycle‐Pipeline‐Diagramm

IF ID EX MEM WB

PipeliningKomplexere Pipelines

Komplexere Piplelines• Pipeline‐Stufen sind nicht auf 5 festgelegt!• z.B. weitere Unterteilung von IF, ID, EX, MEM, WB

– Erlaubt höhere Taktung– Kann aufgrund der Instruktions‐Komplexität erforderlich sein– Kann aufgrund von Instruktionen mit zeitlich unbalancierten Stufen erforderlich sein

• Wie „pipelined“ man x86 ISA mit Instruktionslängen zwischen 1 und 17 Bytes?– Komplexe Instruktionen der x86 ISA werden in Folge von Mikroinstruktionen

übersetzt– Mikroinstruktionssatz ist vom Typ RISC– Pipelining findet auf den Mikroinstruktionen statt

• Beispiel AMD Opteron X4:

Was das ist sehen wir noch im Kapitel Multiple‐Issue

Pipeline‐Stufen einiger ausgewählter ProzessorenMikroprozesor Jahr Taktrate Pipeline‐Stufen LeistungIntel 486 1989 25 MHz 5 5 WIntel Pentium 1993 66 MHz 5 10 WIntel Pentium Pro 1997 200 MHz 10 29 WIntel Pentium 4 Willamette 2001 2000 MHz 22 75 WIntel Pentium 4 Prescott 2004 3600 MHz 31 103 WIntel Core 2006 2930 MHz 14 75 WUltraSPARC IV+ 2005 2100 MHz 14 90 WSun UltraSPARC T1 (Niagara) 2005 1200 MHz 6 70 W

Pipeline‐Stufen sinken wieder?• Aggressives Pipelining ist sehr Leistungshungrig• Aktueller Trend eher zu Multi‐Cores mit geringerer

Leistungsaufnahme pro Core.

Data‐Hazards

Motivation

Ist die Pipelined‐Ausführung immer ohne Probleme möglich?

Beispiel:sub $2, $1, $3and $12, $2, $5or $13, $6, $2add $14, $2, $2sw $15, 100($2)

Also, alle vier nachfolgenden Instruktionen hängen von der sub‐Instruktion ab.

Annahme:$2 speichert 10 vor der sub‐Instruktion.$2 speichert ‐20 nach der sub‐Instruktion.

Betrachten wir die Pipeline:

sub $2, $1, $3and $12, $2, $5or $13, $6, $2add $14, $2, $2sw $15, 100($2)

Problem Rückwärtsabhängigkeiten

Instr.‐Zeile

Sollte aus $2 lesen

Liest aus $2

Data‐Hazard

Behandeln von Data‐Hazards mittels Forwarding

Allgemeine Lösung mittels Forwarding‐Unit

EX/MEM.Rd

MEM/WB.Rd

Implementation der Forwarding‐Unit

Bemerkungen

Die Bestimmung von ForwardB erfolgt analog. (Übung)

Das Ganze muss noch als Wahrheitstabelle aufgeschrieben und dann als kombinatorische Schaltung realisiert werden.

Wie sieht die Wahrheitstabelle von ForwardA nach voriger hergeleiteter Vorschrift aus? (Übung) [Tipp: um Platz zu sparen sollte man möglichst viele „don‘t cares“ verwenden.]

Nicht auflösbare Data‐Hazards

Nicht jeder Data‐Hazard lässt sich durch Forwardingauflösen. Beispiel: Zugriff auf vorher gelesenes Register.

Pipeline‐Stall als Lösung

Allgemeine Lösung mittels Hazard‐Detection‐Unit

Implementation der Hazard‐Detection‐Unit

Quiz: Vermeiden von Pipeline‐Stalls

lw $t1, 0($t0)

lw $t2, 4($t0)

add $t3, $t1, $t2

sw $t3, 12($t0)

lw $t4, 8($t0)

add $t5, $t1, $t4

sw $t5, 16($t0)

Wo findet ein Pipe‐line‐Stall statt? Bitte ankreuzen.

Bitte Befehle umorganisie‐ren, sodass alle Stalls vermieden werden.

Anzahl Taktzyklen mit Stalls?Anzahl Taktzyklen ohne Stalls?

Control‐Hazards

Branch‐Not‐Taken‐Strategie und Pipeline‐Flush

Flush = Verwerfe Instruktionen in der Pipeline. Hier: Setze IF/ID‐, ID/EX‐ und EX/MEM‐Register auf 0.

Reduktion des Branch‐Delays• Adressberechnung kann schon in der

ID‐Stufe stattfinden• beq und bne erfordert lediglich ein

32‐Bit‐XOR und ein 32‐Bit‐OR– Dazu braucht man keine ALU– Also auch in der ID‐Stufe realisierbar

• Damit ist der Sprung schon in der ID‐Stufe entschieden

Beispiel: für $1 und $3:

Reduktion des Branch‐Delays

• Konsequenz– Branch‐Delay ist damit ein Instruktions‐Zyklus– Wir brauchen lediglich ein Flush‐IF/ID‐Register

Reduktion des Branch‐Delays• Achtung!

– Forwarding aus späteren Stufen macht die Sache kompliziert.

– Kann Pipeline‐Stall aufgrund von Data‐Hazards erforderlich machen.

• z.B. ein Zyklus, wenn ALU‐Ergebnis in den Vergleich einfließt

• z.B. zwei Zyklen, wenn Vergleichsoperator einen Schritt vorher aus dem Speicher geladen wurde

– Betrachten wir aber hier nicht genauer.

Dynamic‐Branch‐Prediction‐Strategie

Unterer Teil der Adresse

Branch hat stattgefunden

0x00 10x04 00x08 1...0xf8 00xfc 0

Branch‐Prediction‐Buffer

0x400000 : lw $1, 0($4)0x400004 : beq $1, $0, 400x400008 : add $1, $1, $10x40000c : ......

...0x40c004 : bne $3, $4, 120...

Vorhersagegenauigkeit

Annahme unendlich langer Loop, der immer 9 mal und dann einmal nicht durchlaufen wird. Was ist die Vorhersagegenauigkeit der vorher beschriebenen Branch‐Prediction?

Lässt sich das verbessern?

loop: ......bne $1,$2,loop...j loop

N‐Bit‐Vorhersage am Beispiel 2‐Bit

Vorhersagegenauigkeit

Annahme unendlich langer Loop, der immer 9 mal und dann einmal nicht durchlaufen wird. Was ist die Vorhersagegenauigkeit der vorher beschriebenen 2‐Bit‐Branch‐Prediction?

loop: ......bne $1,$2,loop...j loop

Branch‐Delay‐Slot‐Idee

loop: ......bne $1,$2,loop<instruktion><instruktion>

• Wird immer ausgeführt.• Instruktion muss aber unabhängig vonder Branch‐Entscheidung sein.

• Das muss der Compiler entscheiden.• Im Zweifelsfall: nop passt immer.

Beispiele von Branch‐Delay‐Slot‐Schedules

Weniger Branches mit Conditional‐Instruktionen

Beispiel MIPS‐Instruktionen movn und movz:movn $8, $11, $4 # $8 = $11, wenn $4 != 0movz $8, $11, $4 # $8 = $11, wenn $4 == 0

Beispiel ARM‐ISA:ADDEQ r0,r1,r2 ; If zero flag set then…

; ... r0 = r1 + r2

Betrachte die folgenden Branch‐Strategien:1. Vorhersage Branch findet statt2. Vorhersage Branch findet nicht statt3. Dynamische Branch‐Vorhersage (mit 90% Genauigkeit)

Was ist die beste Strategie, wenn:

• Branch findet mit 5% Häufigkeit statt?

Multiple‐Issue

Motivation• Bisher: Instruction‐Level‐Parallelism (ILP) durch Pipelining

– ILP kann durch Pipeline‐Stufe erhöht werden– Pipelines mit mehr Stufen sind anfälliger gegenüber Data‐ und Control‐

Hazards– Also: Pipeline‐Stufen nur bis zu gewisser Tiefe sinnvoll– Außerdem: Grenzen aufgrund der Leistungsaufnahme– CPI bleibt gleich oder steigt sogar (wegen Hazards), Clock‐Rate steigt

• Hier eine weitere Methode um ILP zu steigern: Multiple‐Issue– Replikation von internen CPU‐Strukturen, sodass mehrere Instruktionen pro

Pipeline‐Stufe möglich sind– CPI sinkt und Clock‐Rate bleibt gleich (oder sinkt sogar wegen erhöhter

Komplexität)– Beispiel: CPI eines 4‐Wege‐Multiple‐Issue‐Mikroprozessor hat eine ideale CPI

von? 0.25!– CPI liegt aber in der Regel höher, wie wir gleich sehen werden

• Wir unterscheiden zwischen:– Static‐Multiple‐Issue: Entscheidungen werden zur Compile‐Zeit gefällt– Dynamic‐Multiple‐Issue: Entscheidungen werden zur Laufzeit gefällt

(auch Superskalare CPU bezeichnet)

Multiple‐IssueStatic‐Multiple‐Issue

Generelle Idee• Eine große Instruktion pro Clock‐Cycle• Große Instruktion besteht aus mehreren gleichzeitig stattfindenden Operationen

• Aber nicht jede Kombination von Operationen möglich

• Beispiel:– ALU‐Operation und Speicheroperation gleichzeitig möglich

– Aber zwei ALU‐Operation auf einmal nicht möglich

• Terminologie: VLIW (Very Long Instruction Word)

Beispiel am MIPS‐Datenpfad

Extra ALU für gleichzeitige Adresskalkulation

ALU für arithmetische Operationen

Statische Two‐Issue Pipeline im Betrieb

Was ist der CPI‐Wert?

Was ist nun die Aufgabe des Compilers?

Loop: lw $t0, 0($s1) # $t0=Array-Elementaddu $t0, $t0, $s2 # addiere Wertsw $t0, 0($s1) # Speichere Elementaddi $s1, $s1, -4 # nächstes Elementbne $s1, $zero, Loop # solange $s1 != 0

Compiler erzeugt Assembler‐Code:

und ordnet Instruktionen so an, dass keine Pipeline‐Stalls entstehen

Verbesserung: Loop‐Unrolling

Loop: lw $t0, 0($s1) # $t0=Array-Elementaddu $t0, $t0, $s2 # addiere Wertsw $t0, 0($s1) # Speichere Elementaddi $s1, $s1, -4 # nächstes Elementbne $s1, $zero, Loop # solange $s1 != 0

Code wie vorher (der Einfachheit sei Loop‐Index Vielfaches von 4):

Loop‐Body vier mal kopiert und Register‐Renaming

Multiple‐IssueDynamic‐Multiple‐Issue

Generelle‐Idee• CPU entscheidet, ob und wie viele aufeinander folgende Instruktionen parallel gestartet werden können

• Compiler erzeugt nur eine Folge von Instruktionen; kein VLIW

• Instruktions‐Scheduling des Compilers nicht mehr erforderlich aber trotzdem aus Performance‐Gründen sinnvoll

• Verbesserung der Superskalarität durch dynamisches Pipeline‐Scheduling: Instruktionsreihenfolge darf geändert werden, um Stalls zu vermeiden

Dynamic‐Pipeline‐Scheduling Motivation

lw $t0, 20($s2) # zunächst $t0 ladenaddu $t1, $t0, $t2 # addu durch lw verzögertsub $s4, $s4, $t3 # sub könnte schon startenslti $t5, $s4, 20 # und genau so auch slti

Warum nicht sub (und ggf. slti) vor addu vorziehen?

Dynamic‐Pipeline‐Scheduling generell

Wiedervorlage: Daten einiger ausgewählter Prozessoren

Zusammenfassung und Literatur

Zusammenfassung• Schlechte Performance von Single‐Cylce‐Ansatz• Instruktionsabarbeitung besteht aus mehreren Zyklen• Moderne Prozessoren nutzen dies für

– Pipelining– Multiple‐Issue

• Allgemein als Instruction‐Level‐Parallelism bezeichnet• Für High‐Level‐Programmierer ist die Parallelität nicht sichtbar

– Sichtbar auf Assembler‐Ebene– Sichtbar auf Compiler‐Ebene

• Hauptprobleme die die Parallelität einschränken– Daten‐Abhängigkeiten– Control‐Abhängigkeiten

• Methoden um Data‐ und Control‐Hazards zu reduzieren– Scheduling– Spekulation

• Sichtbare Grenze der Power‐Wall ist erreicht• Trend zu Multicores mit einfacheren Pipelines• Konsequenz: Parallelität nicht mehr von der Hardware gekapselt

Bildquelle: www.geemag.de/wp‐content/artikel_endgegner_bild.jpg

Welchen Einfluss hat Pipelining auf den CPI‐Wert?[ ] Der CPI‐Wert bleibt immer unverändert. [ ] Der CPI‐Wert kann unter 1 fallen. [ ] Der CPI‐Wert steigt in der Regel an.

Mittels Pipelining kann man die Taktrate eines Rechners erhöhen.[ ] Stimmt! [ ] Nein, das ist völliger Quatsch.

Eine Pipeline mit k Stufen erreicht asymptotisch immer eine Performance‐Ratio von k.[ ] Jawohl. [ ] Nein, die Ratio kann darunter liegen.[ ] Nein, die Ratio kann sogar noch höher liegen.

Welchen Einfluss hat Superskalarität auf den CPI‐Wert?[ ] Der CPI‐Wert bleibt immer unverändert, [ ] Der CPI‐Wert steigt an.[ ] Der CPI‐Wert kann unter 1 fallen.

Pipelining erhöht den Durchsatz aber reduziert nicht die Instruktions‐Latenz.[ ] Nein, Durchsatz und Latenz sinken [ ] Nein, Durchsatz und Latenz steigen [ ] Ja, das ist richtig

Super! Geschafft. Auf zum nächsten Level.

Literatur[PattersonHennessy2012] David A. Patterson und John L. Hennessy, „Computer Organization and Design“, Fourth Edition, 20124.1 Introduction4.2 Logic Design Conventions4.3 Building a Datapath4.4 A Simple Implementation Scheme4.5 An Overview of Pipelining4.6 Pipelined Datapath and Control4.7 Data Hazards: Forwarding versus Stalling4.8 Control Hazards4.10 Parallelism and Advanced Instruction‐Level Parallelism4.11 Real Stuff: the AMD Opteron X4 (Barcelona) Pipeline

Grundlagen der Rechnerarchitektur - userpages.uni-koblenz.deunikorn/lehre/gdra/ss19/04...

Documents

Transcript of Grundlagen der Rechnerarchitektur - userpages.uni-koblenz.deunikorn/lehre/gdra/ss19/04...

SS19 BACH REICHEL RUEPPEL - Quartier Zukunft · SS19 BACH REICHEL RUEPPEL - Quartier Zukunft ... ") .,,0* .10#

Kovarianz, Korrelation, (lineare) Regressionjmh/lehre/sem/ss19/statistikR...Die Korrelation (Pearson’s product-moment correlation), r, ist dasselbe wie die Kovarianz, aber sie normalisiert

Kapitel 4: Data Mining SYSTEMS Überblickdmm.dbs.ifi.lmu.de/content/lehre/SS19/infonf/skript/InfoNF_04_Teil02.pdf · Kapitel 4: Data Mining 11 Grundlagen • Idee –Cluster als Gebiete

ADS: Algorithmen und Datenstrukturen 2 - Teil 4adsprak.informatik.uni-leipzig.de/ss19/slides/ads204.pdf · falls ja, wende den kanonischen Greedy-Algorithmus an das erfordert eine

Internet Routing - userpages.uni-koblenz.deunikorn/lehre/gdrn/ss13/06... · Routing Grundlagen der Rechnernetze ‐Internetworking 18 Wir betrachten zunächst Routing als Graph‐Problem.

05 Zellulare Netze (leer) - userpages.uni-koblenz.deunikorn/lehre/drako/ws15/05... · • Beispiel UMTS WS 2012/2013 Drahtlose Kommunikation ‐Zellulare Netze 2. ... Call‐Drop

Grundlagen der Rechnerarchitektur - userpages.uni-koblenz.deunikorn/lehre/gdra/ss12/01%20Einf%81... · Übersicht dieses Vorlesungsabschnitts • Grundbegriffe • Performance •

03 MIPS-Assembler - userpages.uni-koblenz.deunikorn/lehre/gdra/ss18/03 MIPS... · MIPS unterstützt mit einem separaten FPU‐Coprozessor Gleitkommaarithmetik auf Zahlen im IEEE 754‐Single‐Precision

Data Hazards - userpages.uni-koblenz.deunikorn/lehre/gdra/ss16/04 Prozessor (VL18).pdf · Allgemeine Lösung mittels Hazard‐Detection‐Unit Grundlagen der Rechnerarchitektur ‐Prozessor

Beispiel: A[300] h A[300]unikorn/lehre/gdra/ss15... · 2015. 6. 12. · Zusammenfassung der behandelten Instruktionen Grundlagen der Rechnerarchitektur ‐Assembler 31 Instruktion

Allgemeine Lösung mittels Hazard Detectionunikorn/lehre/gdra/ss14/04... · Control‐Hazards Grundlagen der Rechnerarchitektur ‐Prozessor 87 Bildquelle: David A. Patterson und

Grundlagen der Künstlichen Intelligenzschwarz/lehre/ss19/kib/kib19-knn.pdf · k unstliche neuronale Netze (KNN) unterschiedlicher Struktur Aktivierung von Neuronen, Reiz ubertragung

Mathematische Logik Kurzskript - home.mathematik.uni ...home.mathematik.uni-freiburg.de/loesch/lehre/ss19/MathLogik.pdf · Anmerkungen. Dieses Kurzskript ist w ahrend der im Sommersemester

Hören & Innenohr (Akustik) - meditum.med.tum.de¶ren-ss19.pdf · Presbyakusis Ototoxen Hereditäre Erkrankungen Barotrauma Akustikusneurinom Gehirntumore Neurofibromatose Auditorische

Übersicht - userpages.uni-koblenz.deunikorn/lehre/drako/ws16/03... · Übersicht Motivation für spezielle MAC-Verfahren Mehrfachzugriff durch Raummultiplex (SDMA) Mehrfachzugriff

Behandlung von Exceptions - userpages.uni-koblenz.deunikorn/lehre/gdra/ss18/03 MIPS... · In SPIM/MARS verfügbare System‐Calls Grundlagen der Rechnerarchitektur ‐Assembler 119

Teil V: Projektmanagement 50 Projektplanungst.inf.tu-dresden.de/files/teaching/ss19/st/slides/50-st-projekt-management.pdfFakultät Informatik - Institut Software- und Multimediatechnik

Mathematik 2. Semester - math.tu-dresden.defischer/teaching/ss19/MatheII-Anzeige.pdf · Beamerfolien zu Mathematik 2. Semester fur Maschinenwesen und Verkehrsingenieurwesen Andreas

Segmentierung –Motivationunikorn/lehre/gdra/ss19/05 Speicher (VL18).pdf · Segmentierung ‐Grundidee SS 2012 Grundlagen der Rechnerarchitektur ‐Speicher 60 Voriges Beispiel Compiler:

Minimierung nach Quine McCluskeyuserpages.uni-koblenz.de/~unikorn/lehre/gdra/ss19/02%20Bin%84re%20Arithmetik... · Register und Shift‐Register Grundlagen der Rechnerarchitektur