Multitouch, Tangibles und Fiducials – Begreifbare Interaktionen im Informatikunterricht

Multitouch, Tangibles und Fiducials – Begreifbare Interaktionen im

Informatikunterricht

Jonas [email protected]

Sebastian [email protected]

mailto:[email protected]

mailto:[email protected]

ITNRW WS10: Be-greifbare Interaktionen 2

Agenda• Begrüßung• Worum geht es?• Was sind Be-greifbare Interaktionen?• Was ist Scratch4TUIO?• Erste Schritte mit Scratch4TUIO• Kreativ sein!• Gedankenaustausch zum Abschluss

14.03.2016


WAS SINDBE-GREIFBARE INTERAKTIONEN?

14.03.2016


Was sind Be-greifbare Interaktionen?

14.03.2016

Be-greifbare Interaktion(en), dt. für Tangible User Interface*(s)

Ansatz der Mensch-Maschine-Interaktion: Interaktion mit Informatiksystemen durch die Manipulation physikalischer Objekte

* Hiroshi Ishii and Brygg Ullmer. Tangible bits: Towards seamless interfaces between people, bits and atoms. In Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems, CHI ’97, pages 234–241, New York, NY, USA,1997. ACM



14.03.2016

Bilder von Wikimedia Commons: https://commons.wikimedia.org



14.03.2016

Be-greifbare Interaktion(en), dt. für Tangible User Interface*(s)

Ansatz der Mensch-Maschine-Interaktion: Interaktion mit Informatiksystemen durch die Manipulation physikalischer Objekte

+ Kopplung physikalischer Artefakte und digitaler Information.

* Hiroshi Ishii and Brygg Ullmer. Tangible bits: Towards seamless interfaces between people, bits and atoms. In Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems, CHI ’97, pages 234–241, New York, NY, USA,1997. ACM



14.03.2016

Abb. Aus B. Ullmer and H. Ishii. Emerging frameworks for tangible user interfaces. Human-Computer Interaction in the New Millenium, pages 579–601, August 2001.

vs.

Jonas Neugebauer

Diese Folie ggf. erst nach S.13?



14.03.2016

Bilder von Data PhysicalizationWiki (http://dataphys.org) und Wikimedia Commons: https://commons.wikimedia.org



14.03.2016

Merkmale von TUIs

• Kopplung physikalischer Objekte (Tangibles) mit digitaler Information• Physikalische Manipulationen der Objekte im (dreidimensionalen)

Raum (bewegen, drehen, ...) ermöglichen Interaktive Kontrolle• Es existiert eine wahrnehmbare Verbindung der physikalischen

Darstellung mit der aktuellen digitalen Information• Der Zustand des Objektes verkörpert Schlüsselzustände des digitalen

Systems• Die Gruppierung und das Zusammenspiel der Objekte beeinflusst die

Funktionalität des Systems



14.03.2016

Bilder von Data PhysicalizationWiki (http://dataphys.org) und Wikimedia Commons: https://commons.wikimedia.org



14.03.2016

Be-greifbare Interaktionen können aber auch weiter gefasst werden:

• Data-centred Views.o.

• Perceptual-motor-centered ViewFokus auf die Interaktion (nicht die Schnittstellen) z.B. zur Fernsteuerung von Maschinen. Ausnutzen eines größeren Spektrums an (körperlichen) Interaktionsmöglichkeiten.

• Space-centered ViewDer Nutzer selbst wird Teil des Interfaces. Z.B. können Bewegungen im Raum als Interaktionen verarbeitet werden.

vgl. Eva Hornecker. A design theme for tangible interaction: Embodied facilitation. In Proceedings of the Ninth Conference on European Conference on Computer Supported Cooperative Work, ECSCW’05, pages 23–43, New York, NY, USA, 2005. Springer-Verlag New York, Inc.



14.03.2016

Bilder von Wikimedia Commons: https://commons.wikimedia.org

NUI = Natural User Interface


Der nächste Schritt in der MMI

14.03.2016

Abb. aus Ishii, H., Lakatos, D., Bonanni, L., & Labrune, J. B. (2012). Radical atoms: beyond tangible bits, toward transformable materials. interactions, 19(1), 38-51.

Verformbare Materialien statt (starrer) Tangibles


BE-GREIFBARE INTERAKTIONENIN DER SCHULE

14.03.2016


Be-greifbare Interaktionen in der Schule

14.03.2016

In den letzten Jahren haben Be-greifbare Interaktionen indirekt durch Physical Computing teilweise Einzug in den IU gehalten:

z.B. Gestaltung alternativer Interaktionen durch Mikrocomputer mit angeschlossenen Motoren und Sensoren



14.03.2016

Bilder von Uni Potsdam (http://www.cs.uni-potsdam.de/~mprz/index.html) und Wikimedia Commons: https://commons.wikimedia.org



14.03.2016

Abb von Uni Potsdam (http://www.cs.uni-potsdam.de/~mprz/index.html)

EntwicklungNutzung

• Habtische Komponente bei Interaktion mit IS

• Höhere Kooperation der Anwender



14.03.2016

• Bestandteil der Lebenswelt



14.03.2016


• Einbettung in verschiedene Kompetenz-/Prozess-/Inhaltsbereiche möglich

I, M & G: Veränderung der Lebenswelt (‚ubiquitous computing‘)

Alg: Objekterkennung in VideosM & I: Softwareprojekte

D: Kodierung von Fiducials Alg: Einführung in die Programmierung

Arg: Kodierung von Fiducials



14.03.2016



• Schnell sichtbare Erfolge möglich (→ Motivation)



14.03.2016



• Schnell sichtbare Erfolge möglich (→ Motivation)

• Verschiedene Niveaus der Umsetzung möglich


WAS IST SCRATCH4TUIO?

14.03.2016


Was ist Scratch4TUIO?

14.03.2016

„With Scratch, you can program your own interactive stories, games, and animations — and share your creations with others in the online community“ 1

„TUIO is an open framework that defines a common protocol and API for tangible multitouch surfaces“ 2

1) Mitchel Resnick, John Maloney, Andrés Monroy-Hernández, Natalie Rusk, Evelyn Eastmond, Karen Brennan, Amon Millner, Eric Rosenbaum, Jay Silver, Brian Silverman, and Yasmin Kafai. 2009. Scratch: programming for all. Commun. ACM 52, 11 (November 2009), 60-67. DOI=http://dx.doi.org/10.1145/1592761.15927792) Kaltenbrunner, M. & Bovermann, T. & Bencina, R. & Costanza, E. "TUIO - A Protocol for Table-Top Tangible User Interfaces", Proceedings of the 6th International Workshop on Gesture in Human-Computer Interaction and Simulation (GW 2005), Vannes (France)

24

Was ist Scratch4TUIO?

14.03.2016 ITNRW WS10: Be-greifbare Interaktionen

TUIO ist ein Standard-Protokoll zur Übertragung von Zuständen und Ereignissen auf Mutlitouch-Tischen (MTT)

ITNRW WS10: Be-greifbare Interaktionen 2514.03.2016

tuio.org


Schon wieder was neues?

14.03.2016

In den letzten Jahren gab es eine Vielzahl von neuen Arte-fakten für den Informatikunterricht, die versuchen, die selben Aspekte zu fördern:

• Lego Mindstorms• Raspberry Pi• Arduino• Ozobot• Micro.bits


Schon wieder was neues?

14.03.2016

Für uns die wichtigsten Aspekte Pro S4T:

• Ohne Zusatzhardware (kostenfrei) einsetzbar• Durch minimalen Kostenaufwand (Webcam, Smartphone)

interessante Projekte möglich• Nach oben hin viele Möglichkeiten zur Erweiterung (dann

ggf. mit Zusatzkosten verbunden)• Verbindung zu anderen Komponenten möglich


Bis hierher Fragen?

14.03.2016


ERSTE SCHRITTE MIT SCRATCH4TUIO

14.03.2016

Jonas Neugebauer und Sebastian Thiele 30

VON TUIO NACH SCRATCH4TUIO

14.03.2016

31

Aufbau und Ablauf mit TUIO

14.03.201614.03.2016 31Jonas Neugebauer und Sebastian Thiele

TUIO Client Applikation

TUIO Tracker Applikation

Multi-Touch Gesten

markierte Objekte

Sensor

TUIO Protokoll

Objekt Geometrie

32

TUIO - Features• Event Kinds– Add– Update– Remove

• Verschiedene Profile:– TUIO- Objekt– TUIO- Cursor– TUIO- Blob

• Profile in 2D und 3D

14.03.2016 Jonas Neugebauer und Sebastian Thiele

TUIO- Punkt

33

Welche Attribute werden getrackt?• Bewegung:– Position– Bewegungsgeschwindigkeit– Bewegungsbeschleunigung

• Drehung:– Drehwinkel– Drehgeschwindigkeit– Drehbeschleunigung


34

TUIO- Objekte

Tracking Informationen– Markierung kodiert eine Symbolnummer– Bewegungsinformationen– Drehinformationen– Sitzungsnummer


35

TUIO- Objekte

vs.


Symbolnummer:

• Kodiert durch Marker• Kann mehrmals auftreten

Sitzungsnummer:

• Eindeutige ID für eine Sitzung• Wird bei jeder Sitzung neu vergeben• kann nur einmal vorkommen

36

TUIO- Cursor

Tracking Informationen– Bewegungsinformationen– Sitzungsnummer


37

TUIO- Blobs

Tracking Informationen– Mittelpunktkoordinaten– Höhe, Breite Fläche des umgebenden Rechtecks– Bewegungsinformationen– Drehinformationen– Sitzungsnummer



Anwendungsbeispiele TUIO

14.03.2016


TUIOTUIO Client Applikation

reacTIVision


Von TUIO nach Scratch4TUIO

14.03.2016

TUIO Client Applikation


Multi-Touch Gesten

markierte Objekte

Sensor

TUIO Protokoll

Jonas Neugebauer und Sebastian Thiele 4014.03.2016

Demonstration

Jonas Neugebauer und Sebastian Thiele 4114.03.2016

Arbeitsphase• Starten Sie die Softwarekomponenten und testen Sie die

Funktionalität mit einem einfachen Programm

• Wählen Sie eines der vorgegebenen Projekte und ändern Sie die Steuerung auf ein alternatives Interaktionskonzept um


Fragen?Anmerkungen?

14.03.2016


Kreativ sein!• Scratch Projekte• MakeyMakey• Fiducials• Smartphone• (Arduino)

14.03.2016


Diskussion• Würde ich TUIs im IU einsetzen?• Warum (nicht)?

• Progressionsmöglichkeiten?• Sinnhaftigkeit?• Verknüpfung zu Kompetenz-/Prozess-/Inhaltsbereichen?

14.03.2016


Interessante Weblinks

Alle relevanten Links finden Sie unter:

• http://tinyurl.com/itnrw16-s4t

14.03.2016

http://tinyurl.com/itnrw16-s4t




DANKE FÜR IHRE AUFMERKSAMKEIT UND MITARBEIT

14.03.2016

Multitouch, Tangibles und Fiducials – Begreifbare Interaktionen im Informatikunterricht

Education

Transcript of Multitouch, Tangibles und Fiducials – Begreifbare Interaktionen im Informatikunterricht