1

Tragen Sie die korrekten Gewichte ein so daß dieses Netzwerk das XOR Problem löst.

Berechnen Sie den Output Vektor wenn der Input Vektor (1,1,-1,-1) ist.

Welche drei Eigenschaften zeichnen einen Assoziativspeicher aus?

20

2

1 2

3 4

(1,2)

(0,3)

(5,7)

Ermitteln Sie die Output Vektoren Y für die drei nebenstehenden Input Vektoren X.

Zeigen Sie, daß y3 = k y1 + m y2 ist.

Ermitteln Sie dazu k und m.

Erklären Sie die Bedeutung dieses Ergebnisses in Zusammenhang mit den Trenneigenschaften solcher Netzwerke.

Erfinden Sie ein Netzwerk (mit Hidden Units und Schwelle) mit dem man den Output Raum eindeutig für diese drei Fälle trennen kann.

xT A

21

Erklärung ist hier drunter

Wandeln Sie das XOR Netzwerk leicht ab!Wenn gar nix mehr weiterhilft…..

3

Zeichnen Sie ein schematisches Netzwerk mit dem man einen Raum so trennen kann wie rechts gezeigt.

Was ist der Unterschied zwischen einem Hetero- und einem Auto-Assoziativnetzwerk?

22

Bezeichnen Sie im nebenstehenden Netzwerk alle Komponenten (Eingang, Ausgang, Gewichte, Verbindungen) korrekt und bringen Sie dies in einen klaren Zusammenhang mit den Strukturen des Hippocampus. Benutzen Sie hierbei Folie und Folie als zwei Abstraktikonsstufen.

4

5

Back to an old problem

6

7

8

9

10

11

12

A ssum e w e have a sm art learn ing a lgorithm w hich produces w e ights A suchtha t the associa tion x1 ,y1 and x2 ,y2 is learnt.Then, how ever, the association fo r x3 is frozen at y3.A ny a ttem pt to d issocia te x3 ,y3 w ould unequivoca lly a lso lead to d istortiono f the associations x1,y1 and x2 ,y2 .

C onclusion : These netw orks a llow independent associations O N LY forlinear independent input vectors. In an n-d im ensiona l netw ork m axim allyn input vectors can be linear independent ! This lim its the usefu lness o f such netw orks trem endously.

How to solve this problem ?Introduce non-linearities and more layers !

The Perceptron Problem

(Minsky and Papert,

1969)

13

H ave you seen th is prob lem before ???

14

15

16

17

18

19

20

21

22

23no t as good !m em ory too fu ll !

If an input pattern that has previously been learned is incom plete or faulty, an auto-associator can complete or restore it.