Das Rezept für eine optimale Bewertungsmatrix

2. Berliner VergabeKongress, 21.03.2019

Dipl.-Math. Thomas Ferber LL.M.

ferber@praxisratgeber-vergaberecht.dewww.praxisratgeber-vergaberecht.de

Seite 2

Thomas Ferber

Diplom-Mathematiker und Wirtschaftsjurist (Master ofLaws - LL.M.) und früherer langjähriger Key-Account-Manager für den Geschäftsbereich Forschung undLehre bei Sun Microsystems mit der SonderaufgabeVergaberecht. Autor der Bücher „Bewertungskriterien und -matrizen imVergabeverfahren“, „Fristen im Vergabeverfahren“,„Bieterstrategien im Vergaberecht“ und „Schwellenwerteund Schätzung des Auftragswertes“.

Seite 3

Das wirtschaftlichsteAngebot

Seite 4

Das wirtschaftlichste Angebot

§ 127 Abs. 1 S. 1 GWB: Der Zuschlag wird auf das wirtschaftlichste Angeboterteilt.

§ 127 Abs. 1 S. 2 GWB: Grundlage dafür ist eine Bewertung des öfentlichenAuftraggebers, ob und inwieweit das Angebot dievorgegebenen Zuschlagskriterien erfüllt.

Seite 5

Wirtschaftlichkeit vs. Eignung

Seite 6

Preis-Leistungs-Verhältnis

Seite 7

Preis-Leistungs-Verhältnis

Seite 8

Das wirtschaftlichste Angebot

Seite 9

Beispiele

Seite 10

Beispiele mitbinären Notenskalen

Seite 11

Beispiele für binäre Notenskalen

Beispiel 1: (0 Punkte, 1 Punkt)Beispiel 2: (0 Punkte, 4 Punkte)Beispiel 3: (0 Punkte, 5 Punkte)Beispiel 4: (0 Punkte, 10 Punkte)Beispiel 5: (0 Punkte, 100 Punkte)Beispiel 6: (1 Punkte, 10 Punkte)Beispiel 7: (5 Punkte, 10 Punkte)

Seite 12

Notenskala (0, 10)-Punkte

Seite 13

Notenskala (0, 10)-Punkte

Seite 14

Notenskala (0, 10)-Punkte

Ein Kriterium mit der Notenskala (0, 10)-Punkte und der Bedingung,dass 0 Punkte zum zwingenden Ausschluss führt, die 10-Punktemithin die Mindestanforderungen sind, ist kein Bewertungs-kriterium sondern ein Ausschlusskriterium.

Seite 15

Ausschlusskriterien

Defnition (Ausschlusskriterium):Ein Ausschlusskriterium ist ein Kriterium, dasa) nur mit den Werten „erfüllt“ oder „nicht erfüllt“ bewertet

werden kann (binäre Bewertung) undb) der Wert „nicht erfüllt“ führt zum Ausschluss.

Seite 16

Notenskala (0, 10)-Punkte

● Ein Ausschlusskriterium ist eine rein binäre Bewertung mit denBewertungsmöglichkeiten „erfüllt“ oder „nicht erfüllt“.

● Ausschlusskriterien machen in einer Bewertungsmatrix nichtwirklich Sinn und gehören in die Leistungsbeschreibung.

● Ausschlusskriterien in der Bewertungsmatrix erhöhen unnötig dieKomplexität.

Seite 17

Notenskala (0, 10)-Punkte

Seite 18

Bewertungskriterium

Defnition (Bewertungskriterium):Ein Bewertungskriterium ist ein Kriterium, dasa) mit mindestens zwei verschiedene Werten bewertetwerden kann undb) mindestens zwei verschiedene Werte führen nicht zumAusschluss.

Seite 19

Notenskala (0, 10)-Punkte

Ein Kriterium mit der Notenskala (0, 10)-Punkte und keinerBedingung, dass 0 Punkte zum zwingenden Ausschluss führt, istkein Ausschlusskriterium und kann wie im Beispiel eine sinnvolleBewertung sein.Im Beispiel handelt es sich um ein Bewertungskriterium, dasBestandteil eine Bewertungsmatrix sein kann.

Seite 20

Bewertungskriterien vs. Ausschlusskriterien

Seite 21

Praxistipp

● Ein Ausschlusskriterium ist eine rein binäre Bewertung mit denBewertungsmöglichkeiten „erfüllt“ oder „nicht erfüllt“ und derBedingung, dass „nicht erfüllt“ zum zwingenden Ausschlussführt.

● Ausschlusskriterien machen in einer Bewertungsmatrix nichtwirklich Sinn und gehören in die Leistungsbeschreibung.

Seite 22

Alibikriterien

Seite 23

Alibi-Kriterien

● Ein Zuschlagskriterium, das letztendlich keine Auswirkung aufdie Zuschlagsbewertung hat, wird als Alibi-Kriteriumbezeichnet und stellt eine Verletzung des Transparenzgebotsdar.

● Der Auftraggeber suggeriert mit der Veröfentlichung derGewichtung der Zuschlagskriterien eine Wertung, die nicht derRealität entspricht.

● Ob ein Alibi-Kriterien vorliegt, kann durch ein sogenanntesgewichtetes Preis-Leistungs-Diagramm geprüft undveranschaulicht werden.

Seite 24

Beispiel 1: Bewertungsmatrix mit Alibi-Kriterium

Seite 25

Beispiel 1: Alibi-Kriterien

Seite 26

Beispiel 2: Bewertungsmatrix mit Alibi-Kriterium

Seite 27

Beispiel 2: Alibi-Kriterien

Seite 28

Beispiel 2: Alibi-Kriterien

● Die betrachteten drei Angebote erhalten zwar eine deutlichunterschiedliche Punktzahl für das ZuschlagskriteriumNachhaltigkeit, aufgrund des geringen Gewichts derLeistungsstärke (hier Nachhaltigkeit) von 10% wird der Zuschlagvorhersehbar nur aufgrund des Preises entschieden.

● Mithin ist das Kriterium Nachhaltigkeit im betrachteten Fall zumAlibi-Kriterium degradiert.

Seite 29

Alibi-Kriterien

OLG Düsseldorf, Beschluss vom 09.01.2013, VII - Verg 33 / 12: Der Preis darf weder unter- noch überbewertet werden. EineFestlegung und Gewichtung von Zuschlagskriterien, bei denenWirtschaftlichkeitskriterien neben dem Angebotspreis nur einemarginale Rolle spielen oder der Preis eine übermäßige Bedeutungeinnimmt, kann demnach gegen das Wirtschaftlichkeitsprinzip (...)verstoßen.

Seite 30

Praxistipp

● Bewertungskriterien, die vorhersehbar von allen Angebotenohne Probleme voll erfüllbar sind, führen zur gleichenPunktbewertung. Dies kann unabhängig von der Gewichtungzu Alibi-Kriterien führen.

● Solche Kriterien sollten stattdessen als Ausschlusskriterienverwendet werden oder müssen durch einediferenzierendere Notenskala bewertet werden.

Seite 31

Praxistipp

● Eine sehr geringe Gewichtung des Angebotspreises oder derLeistungspunktzahl birgt die Gefahr von Alibi-Kriterien.

● Das Problem entsteht dann, wenn ein Kriterium benannt aberletztendlich keinen Einfuss auf das Zuschlagsergebnisnehmen kann.

Seite 32

weitere Beispiele

Seite 33

Notenskala mit (0, 1, 2) Punkten

Seite 34

Wertung der Angebote

Angebot A: Projektleiter = 11 Monate Berufserfahrung = 0 PunkteAngebot B: Projektleiter = 12 Monate Berufserfahrung = 1 PunktAngebot C: Projektleiter = 24 Monate Berufserfahrung = 1 PunktAngebot D: Projektleiter = 35 Monate Berufserfahrung = 1 PunktAngebot E: Projektleiter = 36 Monate Berufserfahrung = 1 PunktAngebot F: Projektleiter = 48 Monate Berufserfahrung = 1 PunktAngebot G: Projektleiter = 59 Monate Berufserfahrung = 1 PunktAngebot H: Projektleiter = 60 Monate Berufserfahrung = 2 Punkte

Seite 35

Wertungsverzerrung

Angebot A: Projektleiter = 11 Monate Berufserfahrung = 0 PunkteAngebot B: Projektleiter = 12 Monate Berufserfahrung = 1 PunktAngebot C: Projektleiter = 24 Monate Berufserfahrung = 1 PunktAngebot D: Projektleiter = 35 Monate Berufserfahrung = 1 PunktAngebot E: Projektleiter = 36 Monate Berufserfahrung = 1 PunktAngebot F: Projektleiter = 48 Monate Berufserfahrung = 1 PunktAngebot G: Projektleiter = 59 Monate Berufserfahrung = 1 PunktAngebot H: Projektleiter = 60 Monate Berufserfahrung = 2 Punkte

Angebotsvergleich Mehr an Berufserfahrung Mehr an PunktenAngebot C vs. Angebot B 100% 0%Angebot E vs. Angebot B 200% 0%Angebot F vs. Angebot B 300% 0%Angebot G vs. Angebot B 390% 0%Angebot H vs. Angebot G 1,7% 100%

Seite 36

Notenskala mit (0, 5, 10) Punkten

Seite 37

Wertung der Angebote

Angebot A: Projektleiter = 11 Monate Berufserfahrung = 0 Punkte Angebot B: Projektleiter = 12 Monate Berufserfahrung = 5 PunkteAngebot C: Projektleiter = 24 Monate Berufserfahrung = 5 PunkteAngebot D: Projektleiter = 35 Monate Berufserfahrung = 5 PunkteAngebot E: Projektleiter = 36 Monate Berufserfahrung = 5 PunkteAngebot F: Projektleiter = 48 Monate Berufserfahrung = 5 PunkteAngebot G: Projektleiter = 59 Monate Berufserfahrung = 5 PunkteAngebot H: Projektleiter = 60 Monate Berufserfahrung = 10 Punkte

Seite 38

Wertungsverzerrung

Angebot A: Projektleiter = 11 Monate Berufserfahrung = 0 Punkte Angebot B: Projektleiter = 12 Monate Berufserfahrung = 5 PunkteAngebot C: Projektleiter = 24 Monate Berufserfahrung = 5 PunkteAngebot D: Projektleiter = 35 Monate Berufserfahrung = 5 PunkteAngebot E: Projektleiter = 36 Monate Berufserfahrung = 5 PunkteAngebot F: Projektleiter = 48 Monate Berufserfahrung = 5 PunkteAngebot G: Projektleiter = 59 Monate Berufserfahrung = 5 PunkteAngebot H: Projektleiter = 60 Monate Berufserfahrung = 10 Punkte

Angebotsvergleich Mehr an Berufserfahrung Mehr an PunktenAngebot C vs. Angebot B 100% 0%Angebot E vs. Angebot B 200% 0%Angebot F vs. Angebot B 300% 0%Angebot G vs. Angebot B 390% 0%Angebot H vs. Angebot G 1,7% 100%

Seite 39

Notenskala mit (0, 1, 2, 3) Punkten

Seite 40

Wertung der Angebote

Angebot A: Projektleiter = 11 Monate Berufserfahrung = 0 Punkte Angebot B: Projektleiter = 12 Monate Berufserfahrung = 1 PunktAngebot C: Projektleiter = 24 Monate Berufserfahrung = 1 PunktAngebot D: Projektleiter = 35 Monate Berufserfahrung = 1 PunktAngebot E: Projektleiter = 36 Monate Berufserfahrung = 2 PunkteAngebot F: Projektleiter = 48 Monate Berufserfahrung = 2 PunkteAngebot G: Projektleiter = 59 Monate Berufserfahrung = 2 PunkteAngebot H: Projektleiter = 60 Monate Berufserfahrung = 3 Punkte

Seite 41

Wertungsverzerrung

Angebot A: Projektleiter = 11 Monate Berufserfahrung = 0 Punkte Angebot B: Projektleiter = 12 Monate Berufserfahrung = 1 PunktAngebot C: Projektleiter = 24 Monate Berufserfahrung = 1 PunktAngebot D: Projektleiter = 35 Monate Berufserfahrung = 1 PunktAngebot E: Projektleiter = 36 Monate Berufserfahrung = 2 PunkteAngebot F: Projektleiter = 48 Monate Berufserfahrung = 2 PunkteAngebot G: Projektleiter = 59 Monate Berufserfahrung = 2 PunkteAngebot H: Projektleiter = 60 Monate Berufserfahrung = 3 Punkte

Angebotsvergleich Mehr an Berufserfahrung Mehr an PunktenAngebot C vs. Angebot B 100% 0%Angebot D vs. Angebot B 190% 0%Angebot E vs. Angebot B 200% 100%Angebot E vs. Angebot D 3% 100%Angebot G vs. Angebot B 390% 100%Angebot H vs. Angebot G 1,7% 50%

Seite 42

Notenskala mit (0, 5, 10, 15) Punkten

Seite 43

Wertung der Angebote

Angebot A: Projektleiter = 11 Monate Berufserfahrung = 0 Punkte Angebot B: Projektleiter = 12 Monate Berufserfahrung = 5 PunktAngebot C: Projektleiter = 24 Monate Berufserfahrung = 5 PunktAngebot D: Projektleiter = 35 Monate Berufserfahrung = 5 PunktAngebot E: Projektleiter = 36 Monate Berufserfahrung = 10 PunkteAngebot F: Projektleiter = 48 Monate Berufserfahrung = 10 PunkteAngebot G: Projektleiter = 59 Monate Berufserfahrung = 10 PunkteAngebot H: Projektleiter = 60 Monate Berufserfahrung = 15 Punkte

Seite 44

Wertungsverzerrung

Angebot A: Projektleiter = 11 Monate Berufserfahrung = 0 Punkte Angebot B: Projektleiter = 12 Monate Berufserfahrung = 5 PunktAngebot C: Projektleiter = 24 Monate Berufserfahrung = 5 PunktAngebot D: Projektleiter = 35 Monate Berufserfahrung = 5 PunktAngebot E: Projektleiter = 36 Monate Berufserfahrung = 10 PunkteAngebot F: Projektleiter = 48 Monate Berufserfahrung = 10 PunkteAngebot G: Projektleiter = 59 Monate Berufserfahrung = 10 PunkteAngebot H: Projektleiter = 60 Monate Berufserfahrung = 15 Punkte

Angebotsvergleich Mehr an Berufserfahrung Mehr an PunktenAngebot C vs. Angebot B 100% 0%Angebot D vs. Angebot B 190% 0%Angebot E vs. Angebot B 200% 100%Angebot E vs. Angebot D 3% 100%Angebot G vs. Angebot B 390% 100%Angebot H vs. Angebot G 1,7% 50%

Seite 45

Notenskala (0, 1/6, 2/6, 3/6, ..., 10);

Seite 46

Notenskala (0, 1/6, 2/6, 3/6, ..., 10);

Angebot A: Projektleiter = 11 Monate Berufserfahrung = 1,83 Punkte Angebot B: Projektleiter = 12 Monate Berufserfahrung = 2,00 PunkteAngebot C: Projektleiter = 24 Monate Berufserfahrung = 4,00 PunkteAngebot D: Projektleiter = 35 Monate Berufserfahrung = 5,83 PunkteAngebot E: Projektleiter = 36 Monate Berufserfahrung = 6,00 PunkteAngebot F: Projektleiter = 48 Monate Berufserfahrung = 8,00 PunkteAngebot G: Projektleiter = 59 Monate Berufserfahrung = 9,83 PunkteAngebot H: Projektleiter = 60 Monate Berufserfahrung = 10,00 Punkte

Seite 47

Wertung der Angebote

Angebotsvergleich Mehr an Berufserfahrung Mehr an PunktenAngebot C vs. Angebot B 100% 100%Angebot D vs. Angebot B 190% 190%Angebot E vs. Angebot B 200% 100%Angebot E vs. Angebot D 3% 3%Angebot G vs. Angebot B 390% 390%Angebot H vs. Angebot G 1,7% 1,7%

Seite 48

Seite 49

Seite 50

Seite 51

Seite 52

Praxistipp

● Notenskalen sollten genügend diferenzierende Bewertungenzulassen.

● Notenskalen mit nur wenigen Wertungsstufen machen nur inAusnahmefällen Sinn. In allen anderen Fällen führt dies zuWertungsverzerrungen.

Seite 53

Praxistipp

Was sonst noch zu beachten ist.

Vielen Dank!

www.praxisratgeber-vergaberecht.de

Dipl.-Math. Thomas Ferber LL.M. ferber@praxisratgeber-vergaberecht.dewww.praxisratgeber-vergaberecht.de

Praxisratgeber Vergaberecht Thomas Ferber e.K. Dipl.-Math. Thomas Ferber LL.M. Heinestr. 56 64295 Darmstadt

Tel.: 06151-278 3990 Fax.: 06151-278 3991 Email: ferber@praxisratgeber-vergaberecht.de Web: www.praxisratgeber-vergaberecht.de Twitter: t_ferberXing: https://www.xing.com/profle/Thomas_Ferber