Don Norman, Cofounder Nielsen Norman grouphttp://www.jnd.org/dn.mss/natural_user_interfa.html

„Are natural user interfaces natural? No. But they will be useful.“

Und jetzt alle mal lachen und Matschkuchen backen „Gestensteuerung liegt Menschen in den Genen“ behauptet der Kunstpädagoge Prof. Georg Peez. Die Steuerungsgesten sind demnach angeboren und eine direkte Verbindung zwischen Information und Gehirn. Zum Leiden vieler Eltern lernen Babies beim Spiel mit Dreck Bewegungen, die sie später dann exakt gleich bei ersten Zeichnungen einsetzen. Es sind die selben Bewegungen, die auch bei der Gestensteuerung verwendet werden. Gestensteuerung ist so gesehen vielleicht die natürlichste Steuerung der Welt.

Quelle: http://www.welt.de/gesundheit/psychologie/article125299880/Gestensteuerung-liegt-Menschen-in-den-Genen.html

Wege der Interaktion mit Maschinen

Vom Textadventure zum Streicheltelefon Natürliche Benutzerschnittstellen (Natural User Interfaces, kurz NUI) stellen für viele Interface Designer nach der Ära der Kommando- zeilenbedienung und grafischer Benutzeroberflächen eine neue Generation der Mensch-Computer Interaktion (Human-Computer Interaction, HCI) dar.

Command-LineInterfacesDie erste Generation der HCI waren Command-Line Interfaces (CLI). › Monochrome Darstellungsfläche › Benutzer interagiert durch vorgegebene Anzahl

von Textbefehlen an System und Dateien › Hohes Wissen über Syntax notwendig, da strikte

Einhaltung unabdingbar, keine Fehlertoleranz › Eingabe ausschließlich über Tastatur

↩

Grafische Benutzer- schnittstellen (GUI)Die zweite Generation der HCI sind die heute weit verbreiteten grafischen Benutzerschnittstellen. Grundprinzip der Interaktion ist WIMP (Windows, Icons, Menüs und Pointer=Mauspfeil) › Größeren Farbvielfalt (Farbe transportiert Infos,

Beispiel aktives Fenster, Primary Action) › Darstellung über Metaphern vereinfacht Bedienung

(Desktopmetapher als Oberfläche, Fenster, Symbole, Menüs)

› Maus erweitert Eingabemöglichkeiten › Anwender interagiert über sogenannte Composite

Skills (Fertigkeiten, die sich in keinem anderen Kontext wiederverwenden lassen und erlernt werden müssen, bsp. rechter Mausklick)

› Gängige GUIs isolieren den Anwender von seiner physischen und sozialen Umgebung in hohem Maße

Natural User Interfaces (NUI)Die dritte Generation der Benutzerschnittstellen, die erst seit wenigen Jahren unter diesem Begriff eine eigene Entwicklungsrichtung der Gestaltung der HCI darstellt, sind Natural User Interfaces. › Direkte Interaktion des Nutzers z.B. durch

Touchscreen, Sprache oder Gesten. Interface wird teilweise unsichtbar

› NUI-Grundkonzept OCGM: Akronym für Objects, Containers, Gestures und Manipulation

› Intuitive und natürliche Interaktion mit dem Gerät, indem auf Fähigkeiten zurückgegriffen wird, die der Nutzer bereits erlernt hat

1972: PLATO IV Touch Screen Terminal (Computer-based Education Research Laboratory, University of Illinois, Urbana-Champain)

International NUI Group http://wiki.nuigroup.com/Natural_User_InterfaceNatural user interface, or NUI, is an emerging paradigm shift in man machine interaction of computer interfaces to refer to a user interface that is effectively invisible, or becomes invisible with successive learned interactions, to its users. The word natural is used because most computer interfaces use artificial control devices whose operation has to be learned. A NUI relies on a user being able to carry out relatively natural motions, movements or gestures that they quickly discover control the computer application or manipulate the on-screen content.

Focuses on traditional human abilities such as touch, vision, speech, handwriting, motion and more importantly higher level processes such as cognition, creativity and exploration. Through its study to replicate real world environments and thus situations utilizing emerging technological abilities and sensing solutions which will allow for more accurate and optimized interaction between physical and digital objects.

Zum jetzigen Zeitpunkt gibt es noch keine einheitliche, allgemein anerkannte Definition, was unter einem NUI zu verstehen ist.

Definition NUI

„In computing, a natural user interface, or NUI, or Natural Interface is the common parlance used by designers and developers of human-machine interfaces to refer to a user interface that is effectively invisible, and remains invisible as the user continuously learns increasingly complex interactions. The word natural is used because most computer interfaces use artificial control devices whose operation has to be learned.“ENG Wikipedia

„NUI is the most powerful and most „natural“ when it is multi modal.“ Nicole Mihali Microsoft Deutschland

Natural User Interfaces (NUI) oder „Reality Based User Interfaces" ermöglichen dem Nutzer eine direkte Interaktion mit der Bedienoberfläche durch Wischen, Tippen, Berühren, Gesten oder Sprache.

Wikipedia DE, Dieser Artikel wurde wegen inhaltlicher Mängel auf der Qualitätssicherungsseite der Redaktion Informatik eingetragen.

“Natural user interfaces or NUIs rely on natural expressions like touches and gestures to directly and intuitively control the experience of a software application. The word “natural” means that the interaction is not controlled through an artificial device, like a mouse or keyboard. (I take this to imply that a Nintendo Wii is not an example of a NUI, since there are still artificial controllers involved. Other opinions and thoughts on this are welcomed).”

http://blogs.msdn.com/b/enterprisesearch/archive/2009/05/03/search-and-natural-user-interfaces-part-2.aspx

Direkte Manipulation

Anwendung von erlernten Fähigkeiten des Nutzers (“reuse of existing skills”, u.a. Sprache, Schrift) zur Interaktion

Nutzung der Sinne (Berührung, sehen, hören) zur Interaktion mit System

Abbildung des natürlichen Nutzerverhaltens (Wasser, Bäume, etc. nicht Umgang mit Maschinen wie PKWs oder Toaster) zur Interaktion

Gemeinsamkeiten

Unterschiede

Klaas Wilhelm Bollhoefer Richard Monson-Haefel

Quellen:Blake, Joshua (2010): The Natural User Interface Revolution. In: Natural User Interfaces in .Net, 1. Auflage, Greenwich, USA: Manning Publications. Bollhoefer, Klaas Wilhelm; Meyer, Kerstin & Witzsche, Rosina (2009): White Paper Microsoft Surface und das Natural User Interface ( NUI ), Berlin. Monson-Haefel, Richard (2010): NUI Defined. URL: http://theclevermonkey.blogspot.com/2010/01/nui-defined.html.

Interface muss „mood sensitive“ sein, auf Stimmungen und Gefühle des Nutzers reagieren

Enrico HerzogJoshua Blake

›PROBLEM: Es gibt keine einheitliche Position, was „natürlich“ bedeutet.

› Der Begriff NATÜRLICH ist im Allgemeinen sehr weitläufig und unscharf (siehe natürlich vs. selbstverständlich).

› Eine erste Annäherung an die Bedeutung soll über den Begriff INTUITIV erfolgen, welcher im Zusammenhang mit der MCI häufig synonym verwendet wird. Es beschreibt „die unmittelbare Erfassung des Wesens der Dinge“. Eisler 1904

› Der Fokus liegt auf dem interagierenden Menschen, nicht auf der Technologie. “Who is doing what? Where? With whom? How?”

› Seine motorischen, kognitiven und sozialen Kapazitäten müssen verstanden und einbezogen werden.

› Physische Manipulation, Gesten und Sprache sollen parallel eingesetzt werden können. Multimodalitäten werden übereinander geschichtet.

› Verschiedene Geräte sollen untereinander kommunizieren und dem Menschen eine möglichst natürliche Ausgabe liefern.

› Systeme sollen sich adaptiv verhalten und den Absichten des Nutzers entsprechen. „Dieselbe Größe passt nicht jedem.“

› Eine nahtlose Interaktion soll möglich sein, ohne dass neue Komplexität hinzugefügt wird.

Grundsätze für Gestaltung natürlicher Benutzerschnittstellen

Definition nach Bill Buxton, Forscher im „Xerox PARC“ und

an der Universität in Toronto, wo er bereits 1985 eine

Publikation zu „Multitouch Computing“ veröffentlichte.

Erhielt 2008 einen Preis für sein Lebenswerk. Derzeit ist er

„Chefforscher“ bei Microsoft Research

Gute NUIs…

1. sind intuitiv bedienbar

2. sind dynamisch-adaptiv, passen sich also dem Nutzer und seinen Interessen an

3. unterstützen Multimedialität und Multimodalität

4. agieren nutzerzentriert

5. sind kooperativ und nicht nur interaktiv

6. geben ihren Nutzern unmittelbares und direktes Feedback

7. verhalten sich situativ-relevant und sind kontextsensitiv

8. erlauben unmittelbare direkte Interaktionen

9. sind intermedial, verknüpfen die reale mit der virtuellen Welt

10. unterstützen Multi-User-Verhalten

Zehn Wesensmerkmale von guten NUIs nach Henseler

Problem: Auch gute GUIs

zeichnen sich durch diese Merkmale aus, als Differenzierungs-

merkmale taugen diese Eigenschaften

kaum

› Eine Metapher ist ein kognitives Modell, bei der ein Objekt in seiner Bedeutung genutzt wird und zwar so, dass eine Beziehung der Ähnlichkeit besteht.

› Sie unterliegt immer einer Limitierung, da sie auf etwas verweist, anstatt es selbst zu sein. Sie ist also auch eine gedankliche Krücke, die uns zwar hilft, aber uns auch begrenzt.

Über das angebliche Ende der Metapher

„A metaphor is a device for seeing something in

terms of something else. It brings out the thisness of that or the thatness of

this.“ Burke (1945)

Problem: auch das fotorealistische Abbild

eines Produktes ist Metapher, Repräsentant

und Platzhalter für etwas Greifbares.

› Das intuitivste Handlungsmodell von Menschen ist das so genannte OSIT-Modell. › OSIT leitet sich aus der Physiologie des Menschen ab, es existiert weltweit und

gilt für jedes menschliche Individuum, egal ob jung oder alt und unabhängig vom jeglichen Bildungs- und Entwicklungsstand.

› Jeder von uns nutzt dieses archaische mentale Modell tausende Male am Tag, ohne dass die meisten von uns je darüber nachgedacht haben, dass sie es nutzen – es ist eben intuitiv (Laden, Bushaltestelle, Tankstelle, Wandern).

Das OSIT Modell - natürliches Handlungsschema aller Menschen

Scheiß Beispiel:Das OSIT Modell in der Anwendung bei HD+ (Screenshot) -Keine Orientierung -Keine Infos wonach

diese Kisten denn nun sortiert sind

IST DAS DER RICHTIGE RECEIVER FÜR MICH?

http://www.hd-plus.de/#/alles-ueber-hd-plus/produktfinder

http://www.patisserie.deAufgabe: Finde den gefüllten Bratapfel in 2 Minuten. Los!

GUI vs. NUI

›Texteingabe via TouchdisplayWer tippt gerne einen längeren Text auf dem iPad? Das Problem ist das fehlende haptische Feedback und der Umstand, dass die Tastatur die Hälfte des Bildschirms füllt.

› Ein elektrostatisches Feld auf dem Display (Feelscreens mit Tixel) könnte Ersteres immerhin in absehbarer Zeit beheben.

›OK GoogleSprachbefehle erfassen ist momentan noch recht unzuverlässig und funktioniert oft nur in ruhiger Umgebung und mit klarer Aussprache.

› Zudem ist Sprache an vielen Ort eine wenig willkomme Form der Kommunikation, siehe Bibliothek, öffentliche Verkehrsmittel oder das Quatschen im Supermarkt.

›Versteckspiel › Auswahl und Ausführung (bei Finger- und Körper-

gesten): Auch aus Platzgründen werden Elemente, die nicht unmittelbar benötigt werden, gerne versteckt und tauchen erst bei direktem Bedarf auf.

› Sichtbarkeit ist aber ein wichtiger Faktor beim Gestalten von Interfaces, Interaktionsmöglichkeiten können sonst leicht übersehen werden. Die Wege zu Funktionen werden zudem deutlich länger.

›Shortcuts und Copy & PasteOhne Frage sind Geräte wie das iPad zum Schreiben ungeeignet. Ein Grund dafür ist die derzeit noch ungemein umständliche Fummelei bis sich ein Textblock von einer Stelle zu einer anderen fügt. Mit Force Touch ließe sich dieses Problem evtl. beheben.

› Aber auch das Fehlen von Shortcuts erschweren das Arbeiten mit Touchgeräten: verfügbare Funktionen ohne Geste müssen abgebildet werden.

Apples Patentantrag 111164 beschreibt ein flexibles Display mit taktilen Elementen

Nette Geste

› Nicht alle Gesten sind natürlich, komplexere Gesten müssen gelernt werden und wirken wie das Greifen in die Luft recht unnatürlich („Geistergestik“, Ralf Kienzler, 2015).

› Gesten werden in verschiedenen Kulturkreisen tlw. unterschiedlich gedeutet. Nicht alle Menschen verstehen unter kopfschütteln „nein“ und nicken „ja“.

› Gesten müssen standardisiert werden, damit wir sie auf vielen Geräten intuitiv verwenden können. Standards sind manchmal wichtiger als Usability und Optimierung, denkt hier beispielsweise an Tastaturen.

› Mangelndes Feedback: Da Gesten „vergänglich“ sind, ist oft unklar, ob ein Befehl richtig erfasst wurde oder warum etwas nicht funktioniert hat (Trial & Error).

›No gorilla arm„Humans weren’t meant to do many tasks with hands up in front of their bodies for long periods of time. Sorry Minority Report.“

› Dan Saffer, Creative Director Jawbone

›Und hier noch ein paar Kuriositäten › Beispiel zu realistische Simulation: wii Kegeln. Hier

war die Steuerung zu natürlich. Ein Armband musste den Nutzer davor schützen, das Spielgerät auf den eigenen Fernsehen zu werfen.

› Touch-Geräte sind inzwischen so angenommen, dass Menschen beginnen veraltete Geräte wie noch viele Fahrkartenautomaten ohne Touch-Displays mit Gesten bedienen zu wollen.

› Kinder, die versuchen, den Fisch im Aquarium zu vergrößern, indem sie auf der Scheibe zwei Finger auseinanderziehen.

Einsatzorte: Gute NUI Beispiele

›Programmsteuerung per Eye Tracking EyeSeeMed von ESINOMED ermöglicht hand- und sprachfreien Zugriff auf Daten während Operationen

›GoCamDie Selfie-Kamera "GoCam feat aBubbl" steuern Sie einfach per Geste. Am iPhone und iPad gelingen damit verrekungsfreie Selbstportraits.

›MSN Kochen & Genuss AppDie Anwendung ermöglicht das Aktivieren des Freihand-Modus, so dass der Nutzer nur mit einer Handbewegung die Seiten des Kochbuchs wenden kann und das Display nicht verschmiert.

Kinect for Windows Retail Clothing Scenario Video

› Der nächste Schritt: Internet der Dinge (IoT) › Direkte Vernetzung von Gegenständen. Das

Interface tritt mehr und mehr in den Hintergrund. Interaktion findet direkt mit dem Gegenstand direkt statt.

› Kissen und Kollegen › Each person has a wristband they wear to bed

at night and a small speaker which you place inside your pillow case. The wristband picks up your realtime heartbeat and transmits it via smartphone app to the other person's pillow. Placing your head on your own pillow enables you to hear the realtime heartbeat of your loved one. The result is an intimate interaction between two lovers, regardless of the distance between them.

Vielen Dank für das Interesse und eure Aufmerksamkeit!

In Basecamp findet sich eine Sammlung mit nützlichen Links zum Thema.

› One last thing…

›Breaking News zu Enrico HerzogHerr Herzog wurde aufgrund eines schlechten Aprilscherz vorläufig festgenommen und steht momentan für NUI Fragen nicht zur Verfügung.