BULLETIN OF MATHEMATICAL BIOPHYSICS

VOLUME 24, 1962

~BER DIE WAHRSCHEINLICHKEIT EINES QUASIERGODISCHEN WORTES IM GRENZFALL UNENDLICH GROSSER WORTL~NGE*

UWE KLEMM LEHRGEBIET BIOLOGIE UND ANTHROPOLOGIE

TECHNISCHE UNIVERSITAT BERLIN

Accord ing to Rosen (Bull. Math. Biophyslcs~ 23 ,305-318 , 1961) the form- ing of the f i rs t genes in natural h i s tory can be unders tood in terms of s t o c h a s - t ic bui lding of words. The genes are supposed to r ep re sen t quas i e rgod ic words of great length. For a word of length N, be longing to the free monoid with base of ~ e l emen t s , a formula i s g iven for the probabi l i ty of i ts be longing to some quas ie rgod ic submonoid.

Res t r i c t i ng o u r s e l v e s to n -- 2, we give an e s t ima te for an upper and a lower bound of the l imit of this probabi l i ty as N tends to inf ini ty . Re- sul t : If the to l e rance E does not e x c e e d a ce r t a in va lue depending only on

the mean r e l a t ive f r equenc ie s (p.~ P2' " ' ' ) of the quas i e rgod ic sub- monoid, the upper bound for the l~mit of the probabi l i ty i s zero. Con- cluding remarks are added to show the meaning of our r e su l t s to the b io log i s t s .

Es sei N eine grosse ganze Zahl, die die fes te Wortl~nge dar- s tel len soll . Die Anzahl aller denkbaren Worte der L~inge N, die s ich aus n Buchstaben darstel len lassen, i s t dann bekanntlich n N.

Die Anzahl aller quasiergodischen WSrter p (N,e ; Pl, " " , Pn) (kurz p(N, e)) h~ngt yon der Anzahl N, der Toleranz e und der Verteilung Pl, " - , Pn (P1 + " ' " + Pn ffi 1) ab.

Gesucht ist der Grenzwert

lira p (N, e)

oder zumindest eine obere und eine untere Sohranke ffir diesen Wert.

*Rosen 1959a, b, 1960, 1961) behande l t das DNS-Protein-Coding '-Prob- lem mit Hi l fe der ma themat i schen Theor ie der freien Halbgruppen. Azlo knupfend an (1961) w o d e n wir im folgenden e ine Abscha tzung fur die

429

430 UWE KLEMM

E s se i {a l , . . . , an} die B a s i s der FHG Mn. Wit b e z e i c h n e n mi t Ni (i -- 1 . . . n) die Anzah l der E x e m p l a r e des B u c h s t a b e n s ai in dem q u a s i e r g o d i s c h e n Wort und s e t z e n N0i = N p c

Wir nennen e ine K l a s s e von Worten e ine I s o m e r i e k l a s s e , wenn

s i c h zwei Worte der K l a s s e nur du tch P e r m u t a t i o n ihrer Buch-

s t a b e n vone inande r u n t e r s c h e i d e n . D a n a c h i s t die Anzah l der

E x e m p l a r e j e d e s B u c h s t a b e n s in be i den Worten die g l e i c h e .

Wenn wir die Anzah l a l l e r q u a s i e r g o d i s c h e n Worte der LKnge N e rmi t t e ln wol len , m u s s e n wir die Anzah l der I s o m e r i e k l a s s e n

b e s t i m m e n , die wir b i lden kSnnen, wenn N~ von N0i um h S c h s t e n s

Ne abwe ich t .

E i n e I s o m e r i e k t a s s e mi t der Ve r t e i l ung N1 b i s Nn h a t

(1)

i =1

E l e m e n t e , wobei s t e t s I Ni - No il < N . e und E N~ ~- N gi l t . Wit wo l l en j e t z t e ine a l l g e m e i n e Formel a n s c h r e i b e n , we l che die

S u m m e a l l e r Anzah l en unse re r I s o m e r i e k l a s s e n d a r s t e l l t . Sie

l au te t :

Wahrseheinliehkeit geben, dass eine DNSoMolekel (d.h. itein Wort ~) von sehr grosset Lea~ge (ira Grenzfall unendlicher L ~ g e ) quasiergod.isch ist.

Wit geben mit den Bezeiehnungen von Rosen (1959) die fur unsere Zweeke benotigte Definition des quasiergodisehen Wortes. Es seien Zahlen P l ' ' ' P n mit ~ Pl-- 1 und Pi > 0 ( i = 1 . . . n ) gegeben. Sei w ein Wort in der Freien Halbgruppe (FHG) Mn mit einer Basis yon n Elementen~ A(w) sei die Lange von w~ also die Anzahl aller Buchstaben des Wortes w o)ti(w ) gebe an~ wie of t der Buehstabe a i , ! n w vorkommt~ dann he i ss t das Wort w quasiergodiseh bezuglich der Haufigkeitswerte P l ' ' "Pn mit der Toleranz 8 genau dann~ wenn fur alle i von 1 bis n gilt:

h(w) P~ [ < s.

Zur Vereinfachung der Schreibweise haben wir in der folgenden Arbeit die Abkurzungen eingefuhrt:

)~ (w) -- g ,

N p i -~ No i.

Im ubrigen verweisen wit auf Rosen (1961), Schluss.

QUASIERGODISCHE WORTE 431

Ni < N oi N oi-- Ni -- I

1 7 1 7 No~ = ,~ i NI ~ ~ vi=o N!

p (N, e ) = ) - S~. I~ l.-,a Ni>/Noi Ni_No i

Noi ! 17 1"I Noi + vi N01l i=, i ~,/.1 i=1 (2)

Man sieht leicht , dass dieser Ausdruck folgendermassen en~ tanden ist: ZunKchst is t p ( N , a) die Summe iiber alle Ausdrlicke (1), welche den Bedingungen X N/--- N und ] Ni - N0/] ~< N �9 e geniigen.

In den Fakult~ten Kussern sich positive Abweichungen von N0/ im Hinzutret~n yon Faktoren zu No i! und zwar sind das genau die

Faktnren, die in der Summe S nim Nenner stehen. Wenn dagegen einige N/ kleiner sind als die dazugehSrigen

N0i, so fehlen an den Fakult~ten N01! gewisse Faktnren, mit denen man also ers t erweitern muss, um N0/! im Nenner zu bekommen. Das sind die Z~hler in &.

Auf diese Weise haben wit unter Ausnutzung kleiner Schwan- kungen der N/ um N0/ einen gemeinsamen Faktor aus der Summe aller Isomerieklassenanzahlen herausgehoben.

Die AbschEtzung dieses gemeinsamen Faktors f~ihrt uns auf eine Gleichung, in die die Informationsentropie des streng ergo- dischen Worms eingeht. Wit schreiben

p (N , e) = IInS,~,

wobei

N! I n ~--- - -

t t

H No/! t=l

is t . Unser Ziel ist, den Grenzwert

liE p (N, e) N--)~ ~N

zu bestimmen. Dazu is t es notwendig) das Verh~ltnis der Anzahl aller quasiergodischen Worte der L~nge N (mit gegebenen PI""P~; e) zur Anzahl aller W/Jrter der L~nge N, die in M vor- kommen, zu berechnen. Aus

p (N, e) N!

n N [ I N o / ! i=1

432 UWE KLEMM

folgt mit RiJcksicht auf die Stirl ingsche Formel (Whittaker and Watson, 1950)

log IIn.= log x/2 wN + N(log N - 1) + o(1) - ~ (log x/2 ~N0i -

(3) Noi (log N0i - 1)) + o (1).

Nun is t N0i = Pi ,N, und somit wird die zweite Zei le yon (3) gleich

n l o g 2 ~ r N - 1 ~ ~ . - ~ ~ l o g p i - N P i l ~ 1 7 6 1 7 6

iffil i=l

Es is t a lso

log 1-In. n - 1 log 2 vN - 1 = - 2 2 x l ~ 1 7 6 1 7 6

Aus der Informationstheorie (Khinchin, 1957) wissen wir nun, dass die Summe E pi log Pi = - H die Informationsentropie des Wortes mit der Verteilung N0i . . .Non. ist. Daher 1/isst s ich IIn. in der Form

] In := - - n - I n.ffi r h

N 2 f i n . - 1 P i i f f i l

darstel len. Mithin wird durch Zusammenfassung

p(N,e) Cne (H-l~ 8n.

~t N - n . - 1

N 2

und es kommt je tz t darauf an, das Verhalten yon Sn. zu untersuchen. Fiir e ffi 0, also streng ergodische WSrter, is t 8n. = 1, und wir brau-

IIn. chen nur ~ - zu bestimmen.

Nun sagt ein bekannter Satz der Informationstheorie aus, (Khin- chin, 1957) dass die Entropie H als Maximalwert den Wert log n annimmt, und dass fiir jede Abweichung v o n d e r Gleiehverteilung der Buchstaben s te ts H < log n i s t .

Somit gilt fiir e = 0

lira ~ p(N' 0) ffi 0. N~,vo ~t N

QUASIERGODISCHE WORTE 433

Es ist also sehr unwahrscheinlich, dass durch Zufall ein streng ergodisches Wort mit grosset L~nge und gegebener Verteilung der Buchstaben entsteht.

Fiir quasiergodische Worte muss man zusiitzlich S~ bestimmen oder zumindest absch~tzen. Wir beschr~/nken uns zun~chst auf letzteres.

Man kann S~ wie folgt vereinfachen: Man sammelt alle Glieder von S,~ in (2), die die Bedingung erfiillen:

E N~- Noi = m.

i ,Ni> Noi

Die aus diesen Gliedern bestehende Teilsumme yon S~ bezeichnen wit mit am.

Der Einfachheit halber beschr~nken wit uns dabei auf ein Alpha- bet von zwei Buchstaben mit den Anzahlen NI~ N2 und den Mitten werten Nol~ No2, setzen also n = 2.

Es gibt in diesem Falle nut zwei Glieder der Summe am:

r n - 1 m - 1

/ I N o l - v H No2-~, ~'ffi 0 ~ l 0

+ O ' m ----- m

H No2 + V h N o l + v

Diese boiden Glieder ersch6pfen bekanntlich alle M6glichkeiten, zwei Zahlen N1 und N2 mit N I + N 2 = N und ]N i-N011 = rn (!-_

1,2) zufinden. E s i s t k l a r , dass 82= E a~ist. i = 0

Die Frage nach dem Grenziibergang von 82 fiir N ~ oo konnte bisher nut dutch Abschiitzungen nach oben und nach unten behandelt werden, t

Wit formen zu diesem Zweck a m folgendermassen urn:

m - I V m - 1 V

V=O YmO +

H P2+ Pl+ -

und setzen N01 >/N02 voraus (oder, was dasselbe ist: Pl >~ P2)"

~fWir b e t r a c h t e n u n s e r E r g e b n i s a l s v o r l ~ u f i g .

4~ UWE KLEMM

Dann kann offenbar auf die Ungleichungen a_= < o~ < b"= mit

~" V'= + e/ V'* + ~ / und

b-= P' '~ P('~[) = +

Da s ~ t l i e h e ~-m und ~-m posit iv sind, gilt geschlossen wezden. auch s o_,. < S2 < Y.. a" . .

Das ergibt also eine obere und eine untere Schranke fiir 82.

Links und reehts yon & stehen geometr ische Reihen mit N. s Gliedem, deren Summen sind:

~ I - 1 - V " ~ , , = '~P2 + e l + V'~ + E/

(4) / . ,)

v.,o I - P l - e 1 P 2 - e p2 + ~ p,+ e

I - ( ~ ) I - P2 ~+' N.$ y , ~ , , = '~P2/ + . ( s )

v=o'---" 1 - P._.*I 1 - P---~ P2 P,

Wir ednnern noeh einmal daran, da s s n, die AnzahI der Buchstaben, gleich 2 i s t , und wir den Limes yon

p (N, ~) n / v

abschi/tzen wollen. Wir nehmen in der allgemeinen Formel ffir p ( N , e ) / n N n = 2 und

haben

p(N, ~) 112 2N - 2N 82.

E s war fik grosse N:

112 e (/P-log 2)b/

Die zweiten Sumananden in (4) und (5) s treben ffir N endliche Grenzwerte.

~ gegen

Q U A S I E R G O D I S C H E WORTE 435

Mit II2 mul t ip l i z i e r t werden d i e s e Summanden dahe r nach Grenz- {lbergang g le i ch Null.

Ande re r se i t s i s t e s l e i c h t zu s ehen , d a s s

IIs (p,- r N~ C,e "N

s -T \ps + (4a)

und

11__22 p[L~ N~ Cse ~N

W 2M ~/N

mit

M~ = - ?~ log p~ + E log (?t - r - p~ log P2 - r log (P2 + r - log 2

und

M 2 = - ( ? ~ - s) log ? , - @2 + s) log P2 - l o g 2

ist.

Wenn ]P/I und Ms beide negativ sind, streben die Exponentialfunk- tionen in den Ausdriicken (5a) Irdr die obere und (4a) fiir die untere Schranke gegen Null.

Die Bedingung, dass Ms negativ sein soll, liefert die Ungleichung

log 2 + PI log p~ + Ps log Pa e~<

log PI - log pa

i)berschreitet r diesen Weft, dann wird M2 positiv und der Grenz-

P weft der oberen Schranke yon ~-~ wird dann unendlich. (Spiiter

I ist). wird gezeigt, dass MI < 0 flit jedes E,0 <~ e <

Wir wollen jetzt untersuchen, ob die Gri~sse Mt positiv werden kann, d.h. ob

e. log Pt - s P2 + ~ >~ log 2 + p~ log PI + P2 log P2

gelten kann.

Wir setzen 23 = PI - Pu" Dann wird

1

r log Pl - ~ ~ + 8 - = e log x 3 + ~ Ps+~ -~- _ q ( , -

436 UWE KLEMM

und

H, (8) = log 2 + p, log p, + P2 log P2

1

=-1 l o g ( l - 4 3 2 ) + 3 l o g - - . ~ + 8

2

Es wird sich jetzt darum handeln, ob es ein a mit q (8 - e) > H 1 1 Nr ein 8, 0 4 ~ ~<~ gibt. Wit bemerken zun~ichst, dass Ht und

2 q ( 8 - e) als Funktionen yon 3 monoton im Intervall 0 < 3 < 2 wachsen und dort positive ebenfalls monoton wachsende erste und zweite Ableitungen haben.

1 Zuniichst i s t s te ts q (~ - e) < ~ < log 2.

Der grSsste Weft im 3-Intervall is t fiir gegebene e : q ( ~ - e)= e log [ ( 1 - e ) / e ] .

1 Null und is t flit alle Dieser Ausdruck wird Nr e 0 und e ---

e, 0 < e < y positiv. Sein Maximum liegt bei einem e, 0.278 < e < 0.280 und der zugehSrige Maximalwert i s t gleich qmax = {e log [(1 - e)/e]lm~x -- 0.28 < 0.5. Daraus folgt, dass fiir ~ 1

q (8 - e) < H1 (3) bleibt. Wir zeigen jetzt , dass d i e s e Ungleichung auch im Innern des

1 Intervalls 0 < 8 < ~ besteht. Zuniichst i s t H1 > 232, wie man durch Reihenentwicklung der Ableitung und anschl iessende Integration der Reihe leicht sieht. Wit kiirzen ab: tlo (3) = 235 und bemerken noch, dass o ( ~ ) = ~ i s t . Man betrachte nun den Parabelbogen:

Dann is t

y(8) = 4 e ( 3 - e) + - 4e E)} (�89 -

1 - 48 + 2e 2 y'(3) = 4e + ( 8 - a) ({ -

und somit

(;) = - - > 2 = H ~ . Y 2 + ~ _ e 2

Vergleicht man also die Kurven:

QUASIERGODISCItE WORTE 437

und

Ho (~) = 232,

q ( 6 - e)--- e log

(6) 1 ~+6-e (7) -'-~+e 2

(~ el 2 (s)

im Intervall e 4 6 ~< -~, so s ieht man wegen

4e q ' ( ~ _ ~) = 1 - 4(~ - e) 2 '

dass fiir 6 = a y(3) eine gr5ssere Kdimmung als ~(6 - e ) (in 6 = e) aufweist .

Ferner s ieht man ein:

1.) Die y-Kurve schneidet die H0-Kurve im Punkte (~ ; ~) und hat dort eine grSssere Steigung als H0.

i 2.) Die Steigung der y-Kurve ist in einem Intervall e < ~ < 0 <-~ grSsser als die Steigung yon q (6 - a).

Wie man leicht fes ts te l l t , sind Wendepunkte und sonst ige Ein- buchtungen der Kurven nicht vorhanden.

Zusammenfassend ergibt sich durch Anwendung des Mitten 1 wertsa tzes der Differentialrechnung, dass in a < 6 <

(~ - e) < y ( 0 < }/0 (~) < H1 ( 0

gilt. Solange also e < 6 < ~ , (d.h. solange also q ( 6 - e) positiv ist), kann q - H1 = M1 nicht positiv werden.

Fiir 6 ~< e i s t q(6 - e) negativ, wiihrend HI($) p o s i t i v i s t . Die 1 Funktion M1 kann also fiir 0 ~< 6 ~< ~ nicht positiv sein.

Ist also a < 1 , so is t die untere Schranke von lira p(N,

z

gleich Null.

Zusammenfassung

Es wurde die Wahrscheinlichkeit dafiir abgesch~tzt , dass ein sehr langes quasiergodisches Wort mit gegebener mittlerer Buch- stabenh~/ufigkeit p,,p2 und gegebener Toleranz e dutch stochast i-

438 UWE KLEMM

sche Wortbildung entsteht. Dazu wurde das Verhgltnis der Anzahl aller quasiergodischen Worte v o n d e r L/inge N zur Anzahl aller Worte mit derselben L/inge N und beliebiger relativer Hgufigkeit abgesch~tzt. Wit schiitzten ab, wie h/iufig unter den W~rtern der L~nge N die quasiergodischen vorkommen. Da sich dieses Verh/~Itnis nicht exakt ausrechnen l iess, wurde eine obere und eine untere Schranke angegeben. (Zwischen dieser oberen und dieser unteren Schranke liegt das Verhiiltnis ganz bestimmt.)

Es ergab sich, dass der Grenzwert der unteren Schranke f~r unendlich grosse N, unabh/ingig yon e stets gleich Null ist .

In der Figur 1 is t waagerecht die Toleranz e aufgetragen, senk- recht die obere Schranke des gesuchten Grenzwertes.

F{ir die obere Schranke bekamen wir folgendes Ergebnis: Bis zu

(n ch e0= l o g 2 + ' l l~ +'2 l~ 1 /imli log p---~ -- 1-og p-2 : ] einer bestimmten Toleranz

is t die obere Schranke gleich 0. Von da ab springt die obere Schranke ohne jeden 0bergang auf unendlich grosse Werte. In Rosen (1961) wird gezeigt, dass yon einem gewissen e a b stets

lim p(N, e) N+~ 2 s = 1 ist. Diese Diskrepanz liegt selbstversti~ndlich

an der zu groben Absch/~tzung und kann vielleicht dutch schi~rfere Absch~tzungen korrigiert werden.

Aus der Figur ist ersichtlich, dass yon 0 bis So die obere Schranke gleich Null ist. Wenn aber die obere und die untere Schranke an einer Stelle gleich Null sind, ist offenbar auch der

ober8 Schranke yon

Lira ftN,~ N + ~ 2 N

l OO

I I I I I I i

, . I I I I 0~1 0~2 s 0.4 0.5 0.6

FIGUR 1

I )-

QUASIERGODISCHE WORTE 439

Wert des gesuchten Verhiiltnisses gleich Null. Fiihren wit uns

noch einmal vor Augen, dass das gesuchte Verhgltnis gleich- bedeutend mit der Wahrscheinlichkeit ist, dass ein zuf~llig gebildetes Wort quasiergodisch mit den Daten pl,p2;e ist, dann k6nnen wir mit Sicherheit den Schluss ziehen:

Es ist ganz unwahrscheinlich, dass sich quasiergodische WSrter mit einer zu engen Toleranz und sehr grossen Wortl//nge spontan bilden.

Genetisch ausgedriickt: Haben bei einer DNS (einem Gen) die ProzentsEtze der Mononukleotide eine zu geringe Toleranz, dann kann sich diese DNS nicht dutch Zufall gebildet haben.

Nimmt man andererseits an, dass die ersten funktionsfEhigen Gene sich durch eine stochastische chemische Reaktion aus bereits vorhandenen Nukleotiden gebildet haben, dann kann man weiter schliessen, dass deren Toleranz grSsser gewesen sein muss, als dos in der Figur angegebene e0.

Aus einer yon Rosen abgeleiteten Beziehung zwischen der Toleranz eines Gens und der Anzahl seiner mSglichen Mutanten kann man auf eine gegeniiber heute wesentlich gesteigerte MutabilitEt der ersten funktionsfiihigen Gene schliessen und hat damit einen Schliissel zum VerstEndnis der Vielfalt der Arten.

Insofern ist diese Arbeit ein kleiner mathematischer Beitrag zum grossen Problem der Entwicklungsgeschichte.

LITERATUR

Khinohin, A . I . 1957, Mathematical Foundations of Information Theory. New York: Dover P u b l i c a t i o n s , Inc.

Rosen, R. 1959a. " T h e DNA-Protein Coding Prob lem." Bull. Math. Biophysics, 21, 71-95.

1959b. "Some Further Comments on the DNA-Protein Coding Prob lem." Ibid., 21, 289-297.

1960. "Some Further Comments on the DNA-Protein Coding Problem: A Correct ion and a N o t e . " Ibid., 22, 199-205.

�9 1961, ~An Hypothes is of F ree se and the DNA-Protein Coding P r o b l e m , " Ibid., 23, 805-818.

Whittaker, E. T. , and G. N. Watson�9 1950. A Course of Modern Analysis, 4th ed. Cambridge: The Univers i ty P r e s s .

RECEIVED 5--14--62