Hinderniserkennung nach dem Modell des Fliegenauges · 9 Reafferenzprinzip • Erklärungsversuch...

40
10.01.05 Jan-Nikolas Sulzmann Hinderniserkennung nach dem Modell des Fliegenauges

Transcript of Hinderniserkennung nach dem Modell des Fliegenauges · 9 Reafferenzprinzip • Erklärungsversuch...

10.01.05 Jan-Nikolas Sulzmann

Hinderniserkennung nach dem Modell des Fliegenauges

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

2

Aufbau des Vortrags

• Motivation• Bewegungserkennung und Navigation der

Insekten und speziell der Fliege• Adaption dieser Konzepte in das Design des

Roboters Mouche bzw. Demonstrator

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

3

Motivation

• Bei mobilen Robotern besteht immer das Problem der Orientierung

• Orientierung mit Komplexaugen schneller als mit einem Linsenauge

• Ist deren spezifische Signalverarbeitung technisch nutzbar?

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

4

Roboter Demonstrator/Mouche

• Vorbild: Komplexauge und Flugverhalten der Fliege

• Kollisionsvermeidung in unbekannter Umgebung ohne– Weltmodell– Langzeitspeicher– High-Level Reasoning

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

5

Komplexauge

• Zusammengesetzt aus Ommatidien (Einzelaugen)

• Ermöglicht nur musivisches Sehen (Mosaiksehen)

• Typen von Komplexaugen– Appositionsauge– Superpositionsauge– Neurales Superpositionsauge

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

6

Komplexauge (Fortsetzung)

• Ommatidium besteht aus Cornea, Kristallkegel,Retinula und Rhabdom

• Cornea (flache Linse)• Kristallkegel (Linse mit hoher Brechkraft)• Retinula besteht aus 8 Sehzellen, deren

Rhabdomeren bilden ein Rhabdom• Rhabdom: 2 Typen

– Offenes Rhabdom– Geschlossenes Rhabdom

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

7

Aufbau von Komplexaugen

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

8

Bewegungssehen

• Registrieren von Bewegungen von Objekten• Bewegung eines Objektes bewirkt Verlagerung

des Bildes auf Retina• Man erkennt, bei

– der Verfolgung von bewegten Objekte mit den Augen: eine Bewegung der Objekte

– der Bewegung der Augen und unbewegten Objekten• Aktive Augenbewegung: keine Bewegung• Passive Augenbewegung: eine Bewegung

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

9

Reafferenzprinzip

• Erklärungsversuch für Bewegungssehen bei Linsenaugen, da neurologische Grundlage unbekannt ist

• Bei Augenbewegung wird okulomotorische Efferenz gespeichert (Efferenzkopie)

• Vergleich der Rückmeldung (Reafferenz) mit der tatsächlichen retinalen Bildverschiebung

• Bei Deckung von Efferenz und Reafferenz wird keine Bewegung gemeldet

• Bei Unterschieden wird eine Bewegung gemeldet

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

10

Schema des Reafferenzprinzips

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

11

Bewegungssehen bei Insekten

• Gut erforscht an der optomotorischenReaktion des Rüsselkäfers

• 2 benachbarte Ommatidien arbeiten zusammen

• Die Zusammenarbeit – ermöglicht Unterscheidung von Bewegung

nach Richtung und Geschwindigkeit– ohne Erfassung von Gestalt des Objektes

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

12

Bewegungssehen des Rüsselkäfers

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

13

Abstandsbestimmung anhand des optischen Flusses

• Optischer Fluß: Verschiebung eines Bildes durch eine Bewegung

• Bestimmung der Winkelgeschwindigkeit durch Beobachtung des optischen Flusses

• Ermöglicht die Berechnung des Abstandes

• Leichter bestimmbar bei Komplexaugen

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

14

Kollisionsvermeidung der Fliege

• Basiert auf der Abstandsbestimmung und ihrem speziellen Flugstil

• Phasengesteuerter Flugstil:– Translationsphase:

• Phase des Geradeausfliegens• Zur Bestimmung des Abstandes anhand des optischen Flusses

– Sakkaden: • Phase mit hoher Winkelgeschwindigkeit• Zum Ausweichen von Hindernissen

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

15

Bewegungsbeispiel(1)

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

16

Bewegungsbeispiel(2)

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

17

Bewegungsbeispiel(3)

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

18

Bewegungsbeispiel(4)

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

19

Bewegungsbeispiel(5)

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

20

Bewegungsbeispiel(6)

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

21

Demonstrator

• Sichtbasierte Navigation beruht auf grober Abschätzung des selbstherbeigeführten optischen Flusses

• Adaptiert– Komplexauge der Fliege– Abstandsbestimmung der Insekten– Flugverhalten der Fliege– Parallele, analoge Signalverarbeitung

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

22

Aufbau des Demonstrators

• Zieldetektor: optische Sensoren zur Erfassung des Zieles

• Kompositauge: Schichten:– Optik – Photorezeptoren– Lokale Bewegungsdetektoren

(Local Motion Detector : LMD)– Kollisionsvermeidung

• Synchron angetriebene Kreisplattform

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

23

Visomotorisches System

• Parallele Verarbeitung identischer Kanäle• Je 2 optische Sensoren (1 Kanal) speisen ein LMD• Jedes LMD gibt ausgewertete Bewegung an ein

Elementary Behaviour Circuit (EBC) weiter• Jedes EBC und der Zieldetektor schlagen neue

Orientierung und Geschwindigkeit vor• Tatsächliche Orientierung und Geschwindigkeit

resultieren aus den Berechnungen der EBCs und des Zieldetektors

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

24

Abstandsbestimmung

• Zur Abstandsbestimmung 2 Facetten (Polarwinkel ϕ und ϕ+∆ϕ)

• Abstand eines Punktes P D(ϕ+∆ϕ) läßt sich aus der momentanen Geschwindigkeit und der Zeit, die dieser Punkt benötigt, um beide Achsen zu passieren, berechnen

D( sin sinV Tϕ ϕ ϕ ϕ+ ∆ ) = × × ÷ ∆

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

25

Sichtweite

• Geschwindigkeitsabhängig:• Sinusabhängig:• Bei gleichem Abstand der

optischen Achsen ⇒ keine kreisförmige Sicht

• Lösung: Fester Faktor G ⇒ unterschiedliche ∆ϕ ⇒ kreisförmige Sicht

= ( ) /R V T G× ∆= sin / sinG ϕ ϕ∆

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

26

Toter Bereich

• Problem: bei |ϕ|<10° bzw. |ϕ−180°|<10°wird sinϕ klein

• Einzelauge kann keinen optischen Flußmehr wahrnehmen

• Lösung: 2 zusätzliche LMDs decken den vorderen, toten Bereich peilend ab

sR = /n siniV T ϕ ϕ⇒ × ∆ × ∆

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

27

LMD-Paar im toten Bereich

• Jedes LMD hat 15 optische Achsen

• Optische Achsen/Zentren – sind beweglich– anpassbar an die aktuelle

Sichtweite/Geschwindigkeit• Bewegungsdetektion erfolgt

wie bei restlichen LMDs

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

28

Bewegungsdetektion

• Je 2 Photorezeptoren (2 Kanäle) sind mit einem LMD verschaltet

• LMD extrahiert passierende Kontraste und mißt die Zeit ihrer Passage– Kontrast auf Kanal 1 löst Flanke aus– Kontrast auf Kanal 2 setzt diese wieder zurück– Resultierendes Signal entspricht der Zeitverzögerung beider

Kanäle– Signal wird bis zum Ende der Translation gespeichert, falls keine

neuen Kontraste erkannt werden– Prioritätsschaltung bevorzugt nähere Kontraste

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

29

Elementares Verhalten

• Jeder EBC ist zuständig für 1 optische Achse ϕbzw. LMD

• EBC erhält gemessene Zeit von LMD• EBC berechnet hieraus

– eine Ausweichgeschwindigkeit, so daß der neue Sichtradius das Hindernis tangiert

– einen Ausweichwinkel β bedingt durch die Anziehung des Ziels und der Abstoßung des Hindernisses

– ϕ−β Rechtspassage und ϕ+β Linkspassage

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

30

Elementares Verhalten (Fort.)

• Berechnung der Ausweichgeschwindigkeit

mit

2

1

( , , )V T g G TV

ϕ= × ∆

( ) 11 2 2( , , ) ( ) cos 1 sing G T T G Gϕ ϕ ϕ

−−∆ = ∆ × × + − ×

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

31

Multisensorfusion

• Gewählte neue Geschwindigkeit bzw. Orientierung berechnen sich aus den Vorschlägen der EBCs und des Zieldetektors ZD

• Geschwindigkeitsvorschlag des Zieldetektors: 2

1

ZielZielV AccV

π ϕπ

−⎛ ⎞= × ⎜ ⎟

⎝ ⎠

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

32

Multisensorfusion

• Wahl der Geschwindigkeit: – Minimum der Geschwindigkeitsvorschläge der EBCs

und des ZDs– beschränkt durch minimale/maximale Geschwindigkeit

• Wahl der Orientierung:– Getrennte Berechnung für Links- und Rechtsrotationen– Berechnung des Schnittes aller Links- bzw.

Rechtsrotationen– neue Orientierung entspricht dem Minimum der

Beträge der beiden Schnitte

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

33

Wahl des nächsten Schrittes

• Rotationen nur – bei minimaler Geschwindigkeit– nach einer Translation mit

Minimalgeschwindigkeit• Ansonsten erfolgt eine Translation• Hieraus ergibt sich eine Einteilung in

Phasen

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

34

Einteilung der Phasen

• Beschleunigungsphase: – Roboter beschleunigt schrittweise bis zur Maximalgeschwindigkeit

• Visuelle Annäherungsphase: – Bei Erkennung eines Hindernisses bremst der Roboter ab– Hindernis bleibt aber immer in Sichtweite

• Ausweichphase:– Nach einer Translation mit minimaler Geschwindigkeit– Beliebige Orientierungsänderung möglich, solange

Geschwindigkeit minimal bleibt

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

35

Wandverfolgung (1)

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

36

Wandverfolgung (2)

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

37

Verlassen von Sackgassen

• Der fehlende Kartenaufbau und das Abstoßungs/Anziehungsprinzip legen ein Gefangenwerden in Sackgassen nahe

• Das resultierende Bewegungsverhalten führt zur nahen Passage von Hindernissen bzw. Wandverfolgung

• Der Prozeß der automatischen Wand-verfolgung verhindert das Gefangenwerden

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

38

Wälder von Hindernissen

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

39

Fazit

• Linsenaugen sind nicht immer ideal• Wenig Pixel genügen für gute und schnelle

Orientierung• Raumbewegungs-Detektion teilweise wichtiger als

Raumbild-Detektion• Parallele und analoge Signalverarbeitung arbeitet

effizient, sogar mit unpräzisen Komponenten• Zu vielen Problemen der Robotik gibt es bereits

gute Lösungen in der Natur

10.01.05 Hinderniserkennung nach dem Modell des Fliegenauges

40

Quellennachweis• Franceschini, N.; Pichon, J.-M.; Blanes, C.: "Real time visuomotor

control: from flies to robots". Proc of the International Conference on Advanced Robotics, pp. 931-935, 1991

• Martin, N.; Franceschini, N.: "Obstacle avoidance and speed control in a mobile vehicle equipped with a compound eye". Proc of the Intelligent Vehicles '94 Symposium, pp. 381-386, 1994

• Nachtigall, W.: “Vom Fliegenauge zur Roboter-Orientierung – Bionikder Signalverarbeitung“. Bionik – Grundlagen und Beispiele für Ingenieure und Naturwissenschaftler, Springer-Verlag, pp. 189-193, 2002

• Srinivasan, M. V.; Poteser, M.; Kral, K.: "Motion detection in insect orientation and navigation". Vision Research 39, pp.2749-2766, 1999

• Penzling,H.: Ausgewählte Kapitel, Lehrbuch der Tierphysiologe, 6.Auflage Gustav Fischer Verlag, pp.453-484, 1996