Werner Meiflner

Informationstheoretische Analyse /Skonometrischer Modetlbildung

Informationstheoretische Konzepte sind fiir die Wirtschaftstheorie vor allem dutch H. Theil [1967] fruchtbar gemacht worden. Um das far die Informationstheorie grund- legende Konzept der Wahrscheinlichkeit auch da auf wirtschaftstheoretische Fragen anwenden zu k6nnen, wo der Begriff der Wahrscheinlichkeit in der traditlonellen Oko- nomik iiberhaupt nicht gebraucht wurde, bedient er sich einer formalen Analogie zwischen den Wahrscheinlichkeiten in einem geschlossenen System und dem elementaren Konzept yon Anteilen an gewissen Gesamtgr/Sgen bzw. dem Begriff der relativen H~u- figkeit. Beide sind nicht negativ und summieren sie zu Eins. So wird es m6glich, die Informations- mit der Wirtschaftstheorie immer dann zu integrieren, wenn sich solche relativen Anteile auffinden lassen. Theil hat iiberzeugend demonstriert, dab sie sich in iiberraschend vielen F~illen zwanglos nachweisen lassen. Dieser Ansatz ist inzwischen in einer ganzen Reihe yon Aufs/itzen aus Chicago weitergefiihrt worden. Hier soll gezeigt werden, dab sich das informationstheoretische MaB zur Beurteilung 6konometrischer Modelle eignet, wenn die Modellbildung als Schritt in einem ProzeB der Nachrichteniibertragung (Shannon) interpretiert wird. >>In einem strengen Sinn(q schreibt Menges [1965], >>ist jedes 6konometrische Modell fehlspezifiziert, d. h., wit werden wohl nie das Gliick haben, ein (praktikables) Modell zu finden, in dem die wahre Struktur als ein Element enthalten ist. Abet wit wollen doch versuchen, Modelle zu finden, die relativ wohlspezifiziert sind, d. h. die eine Struktur enthalten, die der wahren wenigstens ,nahe' kommt.~< Die Gate eines 6konometrischen Modells soll im folgenden danach beurteilt werden, wieweit eine bestimmte Modellspezifikation imstande ist, die in den zur ScMtzung dienenden wirtschaftsstatistischen Daten liegende Information aufzuspiiren und weiterzuverarbeiten. Die Problemstellung bei Shannon [1964] war, die Vorg~inge bei der Transformation yon Information zu formalisieren und die Bedingungen far gute Transformation zu entwickeln. Formal stellt sich der Vorgang der Nachrichteniibermittlung mit den Stufen >>Eingangsinformation --+ Kodierung --+ lJbermittlung durch den Nachrichtenkanal -+ Entkodierung, folgendermaflen dar (vgl. Kolmogoroff [1961]):

(1) ~-~ ~ -~ ~' -~ ~'

~:, ~/, ~?' und ~' sind Zufallsvariablen, deren Realisationen in den entsprechenden Er- eignisritumen X, Y, Y' und X" liegen. Fassen wit den Vorgang der Nachrichteniibermittlung yon ~: nach ~' in {Skonometrische Terminologie: Es geht datum, den Zusammenhang zwischen der Information in den statistischen Daten und den Daten, die auf Grund/Skonometrischer Analyse errechnet, prognostiziert oder in Simulation erzeugt wurden, m/Sglichst eng zu machen. Daher gilt es, die Ausgangsinformation in den Stichproben m6glichst genau aufzuspiiren und im Modell einzufangen.

32

Es zeigen sich folgende Parallelen:

(a) Die Kodierung ~ -+ ~7 bei diesem Transformationsvorgang ist nichts anderes als die Modellbildung bei der 6konometrischen Arbeit.

(b) Die {Jbermittlung dutch den Nachrichtenkanal ~/-+ 77' entspricht dann der statisti- schen ScDitzung 6konometrischer Modelle.

(c) Somit kann man mit H(~) die Originalinformation im Stichprobenzeitraum und mit H(~') die vorhergesagte, berechnete oder erzeugte Information bezeichnen.

(d) Die Frage in der Informationstheorie: Wie kodiert man ~ -+ ~/(und dekodiert man ,/ '-+ ~') am zweckm~iBigsten? heiBt in der Okonometrie: Wie muB das Modell gebildet werden, das m6glichst viel yon der Originalinformation einffingt und transformiert ?

Kolmogoroff entwickelt das entsprechende InformationsmaB ftir die Transformations- gtite. Gegeben sind die Bereiche X, X ' , 17, Y', der Werte der Eingangsinformation (Input), der erzeugten Nachrichten (Output), der Input-Signale und der Output-Signale. Als Indikatoren dieser Ereignisbereiche gelten entsprechend die Zufallsvariablen ~, $', ~ und ,/'. Die Eigenschaften der TJbertragung (SchStzung) sind bekannt, d. h. die bedingten Verteilungen Pn'in und die I~dasse V der zugelassenen Verteilungen Pn des Input-Signals. SchlieBlich kennt man die Verteitung der Eingangsinformation (Nach- richt) P~(A)= P($ e A) und die angestrebte l]bertragungsgenauigkeit P~. e W, wobei IF* eine Klasse yon gemeinsamen Verteilungen der Eingangsnachrichten $ und der erzeugten Nachrichten $' ist. Die Frage ist nun: Wie muB man kodieren, so dab (P¢~.e W), die angestrebte Obertragungsgenauigkeit, erreicht wird ? Dazu wird ein- gefiihrt der Ausdruck I($, $'), welcher die Information angibt, die in einem zuf~illigen Objekt /iber ein anderes zuf~tlliges Objekt enthalten ist. (Vgl. Kolmogoroff [1961], S. 101, Gelfand und Jaglom [1958], S. 7.) Im Falle einer Normalverteilung der Zufallsvariablen $ und $' im n-dimensionalen Raum l~flt sich I(~, ~') berechnen. (Vgl. Kolmogoroff [1961], S. 108.) Fiir die Okonometrie ist die Annahme der Normalverteilung grundlegend. (Vgl. Menges [1963], S. 4.) Man verwendet das folgende Theorem, welches dem Ergebnis yon Gelfand und Jaglom [1958] entspricht: Gegeben ist eine positiv definite symmetrische Matrix der Werte sit, (0 ~ i, j ~ m + n) und die Verteilung P¢ des Vektors

( 2 ) ~ = ($1 , $= , • . . . . . , Sin)

mit den zweiten Momenten sij, (0 ~ i, j ~ 171). Die Bedingung W fiir die gemeinsame Verteilung P~, des Vektors ~ und des Vektors ~'

(3) $ = ($m+l . . . . . . . , $m+n)

soll so sein, dab die zweiten Momente der Werte

( 4 ) $ 1 , ~ , • . . . . . , $,n+, ,

gleich aj, (0 ~ i, j _ m q- n) sin& Dann gilt

1 (5) I(#, ~') = ~ log ,

33

wobei A = l s , l [ ; (O ~ i,./, N m)

B = Isul; ( m + l Ni , j ~ _ m + n )

C -= I sul ; (0 =< i, j , ~ m q- n).

Nun kann man die F~higkeit ~Skonometrischer Modelle messen, die Information im Stichprobenzeitraum, d.h. die Information des Datenmaterials, aufzuspiiren und ein- zufangen. Man kann also den ProzeB analysieren

(1) $ -+ ~/--> ~' --~ ~'

und dabei besonderes Augenmerk auf den Kodierungsschritt ~ --> ~/werfen, d. h. auf die Modellbildung. Dabei berechnet man nun I($, $'), welches ein Mag ffir die F~higkeit' der Informationsfibertragung $ --> ~' abgibt. Bezeichnen wit

,9 = Werte der endogenen Variablen, die auf Grund der geschfitzten Struktur berech- net (angepagt) wurden (ffir den Stichprobenzeitraum) bzw. prognostiziert oder simuliert wurden (fiber den Stichprobenzeitraum hinaus),

y = beobachtete Werte der endogenen Variablen, x --= beobachtete Werte der exogenen Variablen, M = Modellspezifikation (Kodierung), S = Sch~tzverfahren (Filtern).

Die berechneten (prognostizierten, simulierten) Werte der endogenen Variablen) Mn- gen yon den beobachteten Werten der endogenen und exogenen Variablen, yon der Modellspezifikation und yore Sch~tzveffahren ab:

(6) 5 =I (Y , '¢, ~kr, S) t ~" ~ t t vat konst konst var konst

Die beobachteten statistischen Wertey und x werden konstant gehalten, sie sind vor- gegeben. Die Koeffizienten ffir A¢ werden stets mit den gleichen ScMtzverfahren er- mittelt. Wird daher lediglich die Modellspezifikation ver~ndert, so ffihrt die Berechnung yon I(~, ~') zu einer Aussage fiber M, d. h. fiber die Modellgfite. WSren z.B. in .~ die Werte tier berechneten (angepaBten) endogenen Variablen im Stichprobenzeitraum erfaBt, ffir den also auch die beobachteten Wertey der endogenen Variablen vorliegen, so erg~ibe sich I(~, $') nach Maggabe yon (5). Man erhielte also denTransinformationsgehalt (Bihn [1967], S. 67 ft.) far die l~bertragung der Information vony nach) unter Zugrundelegung einer bestimmten Kodierung (Modellspezifikation) und Filterung (SchStzung des Modells). Damit wird der durch die 6konometrische Analyse erkl~rbare Anteil der Varianz dery-Werte angegeben. Je kleiner der uner "kl~rte Rest, je gr6Ber I(~, ~') und um so besser ist dann die Modellspezifikation. Dieser Zusammenhang soll formalisiert werden. Berechnet wird

1 A . B (5) I($, $') = ~- log C

Wir haben zwei Variablenmengen

_Y = (.Yl,Y2 . . . . . . . ,_Yn) = berechnete (angepaBte) endogene Variablen,

Y = (Yl,Y~ . . . . . . . ,y~) =- beobachtete endogene Variablen.

34

Dann ist bier

(7) A = a~,

.B = a 2,

Nun ist

o,9 = ¢~+ J = o~ + ¢,~,

e = Zufallsvariable,

aei -- 0, da die berechneten Variablen nicht mit den Zufallsvariablen korrelieren.

Somit

und

2 9

(8) c = o 1

Nun 1/iBt sich schreiben

2 1 a2r a 9

(9) I ( Y , 3 ) = ~ ' l ° g 2 2 2 2 a r a p - - a r a~

1 o2 = l o g

1 1 = -- log

2 1 - - R 2

1

I O , 3 ) = - - T log (1 - R~).

Die Information I ( y , . y ) hat folgende Eigenschaft (vgl. Gelfand und Jaglom [1958], S. 13):

0 < I(y,p) K + oo;

dabei gilt I(5,3) = 0 genau dann, wenny undy voneinander unabh~ngig sin& Damit ist offensichtlich, dab das aus der Informationstheorie abgeleitete Mal3 zur Beurteilung der Transformationsgiite yon Nachrichten in dem ProzeB

(1) ~ - + ~ - + ~ ' - + £

bei der 8konometrischen Analyse eine Entsprechung findet in dem Maf~ R z. Auf die Verwandtschaft zwischen Determinationskoeffizient und Transinformation weist ins- besondere Bihn [1967], S. 76/77, hin. Friihere Arbdten fiber den Zusammenhang zwischen mathematischer Informationstheorie und statistischen MaBen sind Garner/ McGill [19561 und Adam [1958]. Die Interpretation 0konometrischer Modellbildung im Rahmen yon Shannons Pro- blemstellung EtBt sich somit zwangIos durchfiihren. Die Kodierung bei der Nachrichten-

35

iibermittlung entspricht hier der Modellspezifikation, die (zusammen mit den Sch/itz- verfahren) zur Grundlage der Bestimmung der ~-Werte aus den gegebenen statistischen Daten wird. Die Gtite des Modelts wird gernessen daran, wieweit die >){ibertragene Information,{ ~, d.h. die angepal3ten Werte der endogenen Variablen, der ~)Original- information~y, d. h. den beobachteten Werten der endogenen Variablen, entspricht. Diese inhaltliche Beziehung zwischen Informationstheorie und 6konometrischer Modell- bildung l~it3t sich dann auch formal darstellen. Das MaB I($, 2') steht in direkter Be- ziehung zum Mal3 R 2, das in der ~konometrie zur Beurteilung der Modellgiite ver- wendet wird: Je h~Sher/(~, ~') um so hiSher ist R 2.

Li teraturverzeichnis

Adam, A. (1958): Entropie und Streuung, Metrika, Bd. 1, 1958, S. 99-110. Bihn, W. R. (1967): Die informationstheoretische Messung yon Struktursystemen des inter-

nationalen Handels, Freiburg 1967. Garner, W. R., und W..[. McGill (1956): The Relation between Information and Variance

Analyses, Psychometrica, Vol. 21, 1956, S. 219-228. Gelfand, 1. M., und A. M. Jaglom (1958): Uber die Berechnung der Menge an Information tiber

eine zufiillige Funktion, die in einer anderen zufiilligen Funktion enthalten ist, in: Arbeiten zur Informationstheorie, Band II, VEB Deutscher Verlag der Wissenschaften, Berlin 1958, S. 7-56.

Kolmogoroff, A. AT. (1961) : Theorie der Nachrichtentibermittlung, in: Arbeiten zur Informations- theorie, Band 5, VEB Deutscher Verlag der Wissenschaften, Berlin 1961, S. 91-116.

Menges, G. (1903): Three Essays in Econometrics, Statistische Hefte, 4. Jg., Heft 1, 1963, S. 1-37, insbesondere S. 4.

Menges, G., und H. Diem (1965): Das Stabilitiitsproblem in der Okonometrie, Statistische Hefte, 6. Jg., Heft t, I965, S. 40.

Shannon, C. E., und 117. Weaver (1964): The Mathematical Theory of Communication, Urbana 1964.

Theil, H. (1967): Economics and Information Theory, Amsterdam 1967.

36