JamigoInteractive Instruments For Social Energy Harvesting

Marco Ehrenmann, Thomas Schertenleib und Florian WachterPhysical Computing – Personal Energy HarvestingMoritz Kemper, September – Oktober 2014, ZHdK, VIAD, 3. Semester

Jamigo – Interactive Instruments For Social Energy Harvesting ZHdK 2014 2

Inhalt

1. Was ist Jamigo? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32. Research & Ideengenerierung . . . . . . . . . . 43. Finales Konzept . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11

Jamigo – Interactive Instruments For Social Energy Harvesting ZHdK 2014 3

Was ist Jamigo?

Jamigo ist ein System aus drei interak-tiven Instrumenten. Einzeln und ohne die anderen Instrumente in der unmit-telbaren Umgebung sind sie leblos und funktionieren nicht. Kommt aber ein Instrument in die Nähe eines anderen Instruments, fangen die Instrumente zu leben an. Sie fangen an in einer Grund-farbe zu leuchten. Dies ist gleichzeitig das Signal für den Nutzer, dass sich irgendwo in der Nähe eine anderes In-strument befindet, das er suchen kann. Treffen die beiden Instrumente räum-lich noch näher aufeinander, synchro-nisieren die Farben, sie mischen sich. Dies ist das Signal für den Nutzer, dass er die Instrumente jetzt spielen kann.

Um was geht es beim Social Energy Harvesting?

Ziel war es, Situationen und Räume ent-stehen zu lassen, in denen Menschen miteinander interagieren können. Aber was bedeutet es, wenn Menschen mit-einander interagieren? Wir Menschen bewegen uns gerne in Gruppen, wir kommunizieren mit einander und das auch oft nur zum Spass. Was wir in uns spüren, wenn wir zum Beispiel ein gutes Gespräch führen, zusammen Tanzen oder zusammen Musizieren, ist sehr schwer zu fassen. Irgendeine Art Energie scheint in solchen Situationen zu entstehen. Für unsere Arbeit stellten wir daher die These auf, dass es sich bei dieser Energie um eine Art «sozia-le Energie» handelt. Diese Energie ent-steht generell bei sozialen Interaktio-

nen, sie wird immer physisch durch ein Medium (physischer Kontakt, Ton und Licht) von Mensch zu Mensch übertra-gen. Sie befindet sich gleichzeitig auf einer Metaebene in den Köpfen derer, die miteinander interagieren. In unse-rer Arbeit versuchten wir diese soziale Energie darzustellen und gleichzeitig dafür zu sorgen, dass dabei soziale Energie entsteht.

Jamigo – Interactive Instruments For Social Energy Harvesting ZHdK 2014 4

Research & Ideengenerierung

Von «Energy Harvesting» zu «Social Energy Harvesting»

Grosse Ansicht

Erstes BrainstormingZu allererst haben wir in einem Brain-storming versucht verschiedene In- und Outputs zu finden:

Input– Position / Distanz– Schall– Farbe / Kontrast (Komplementär,

Kalt / Warm, Hell / Dunkel, Span-nungsfeld)

– Blasen– Reiben– Streicheln– Buzzer, Schlagen– Magnete– Atmung– Hirnströme– Software http://openeeg.sourcefor-

ge.net/doc/sw/– Hardware http://www.ch-medizin-

technik.de/index.php?cat=c582_EEG.html

– Reale soziale Interaktionen:– Lautstärke, Gespräche– Anzahl Leute– Distanz zueinander im Raum– Tanzen, Trinken (Kontext Mehrspur)

Output– Licht / Farben– Bewegung / Kinetik– Audio– Vibration– Duft– Projektion– Nebel– Seifenblasen!– Helium-Ballone

Inspiration für erste IdeenVon Anfang an waren wir fasziniert von grossflächigen Installationen, wo durch technische Spielereien Men-schen miteinander interagieren. Die ersten Ideen gingen deshalb alle in Richtung Big-Scale-Events. Durch die Interaktion mit diesem Gerät sollten die Beteiligten die soziale Energie sichtbar machen. Obwohl räumliche Nähe von uns zu einem der wichtigen, zentralen Faktoren für unmittelbar erlebbare soziale Energie gezählt wird, wurde uns schnell bewusst, dass es nicht reichen würde, einfach irgendwo eine technische Spielerei hinzustellen. Um soziale Energie wirklich darzustel-len, mussten wir versuchen zwischen-menschliche soziale Bindungen ent-stehen zu lassen. Wir mussten etwas kreieren, das entweder nur richtig funk-tioniert, wenn Menschen zusammenar-beiten oder das durch Zusammenspiel verschiedener Menschen in einer Art Höhepunkt endet.

Die folgenden Projekte waren Inspirati-onsquellen für erste Ideen:

Acryl-Pipes / «Screaming Lights» / Light Bulbs Cloud / BMW 3D Display / Kinetic Sculpture / Kinetic Art / Floating Ball / Theorie Floating Ball / Theorie floating Ping Pong / Bitsbe-auty / Social Energy Pressure / Social Mobiles IDEO

Jamigo – Interactive Instruments For Social Energy Harvesting ZHdK 2014 5

Erste Ideen

Viele unserer ersten Ideen wurden schnell wieder verworfen. Einer der Hauptgründe dafür war, dass wir es nicht nur bei einem oberflächlichen zwischenmenschlichen Kontakt lassen wollten. Unsere Intention war es, etwaszu erschaffen, das «soziale» Energie nicht nur andeutet, sondern effektiv darstellt und gleichzeitig auch auslöst.

Floating LeavesDurch blasen sollten Blätter in die Luft getragen werden, die Turbine lässt sich nur gemeinsam antreiben.

Floating Ping Pong BallsVon der Seite angepustet sollte sich eine Matrix aus vielen Ping Pong Bäl-len durch Glasröhren gepustet werden können. Die Bälle sollten sich wellen-förmig bewegen, in der Art, wie es zum Beispiel das Kinetic Sculpture-Video an einigen stellen darstellt. Erreichen die Bälle eine gewisse Höhe, fangen sie an zu leuchten. Nur durch das Mitwirken anderer Personen könne alle Bälle ge-meinsam leuchten. Wir erhoffen uns, dass dadurch alle Menschen versu-chen werden, die Bälle zum gemeinsa-men leuchten zu bringen, ähnlich wie im Light Bulbs Cloud-Video.

Angetrieben von einer der ersten Ideen, sind wir gleich losgerannt, um einen Prototypen zu bauen. Dieser funktio-nierte eigentlich recht gut, da wir aber noch nicht richtig von unserer Idee überzeugt waren – sie schien uns zu banal , da wir tiefere zwischenmensch-liche Erfahrungen entstehen lassen wollten – entschieden wir uns, nach weiteren Ideen zu suchen.

Jamigo – Interactive Instruments For Social Energy Harvesting ZHdK 2014 6

WärmeglasDurch reiben oder körperliche Wärme kann ein Glas mit Licht aufgeladen wer-den. Sobald sich eine Person von der Oberfläche löst, kühlt die Stelle schnell wieder ab und das Licht erlischt. Nur durch Zusammenarbeit mehrerer Men-schen kann das Glas vollständig aufge-laden werden.

Soundwave-CubeGespräche sind ein wichtiger Teil so-zialer Interaktionen. Ein Würfel beste-hend aus LED-Streifen, die nach unten hängen, kann durch anschreien etc. aufgeladen werden. Nur durch gemein-sames «anfeuern» fängt er richtig an zu leben und das Licht in seinem Inneren wächst.

Living Flower1. Möglichkeit: Ein Objekt, welches ei-ner Blume ähnelt, kann durch gemein-sames Streicheln geöffnet werden. So wird ihr schönes Inneres gezeigt.

2. Möglichkeit: Blume verhält sich ähn-lich wie ein scheues Tier. Bei zu lauter Umgebung und zu hektischen Bewe-gungen verschliesst sie sich und zieht sich scheu zurück. Menschen müssen gemeinsam leise und und vorsichtig sein, dass sie ihr Inneres sehen.

Jamigo – Interactive Instruments For Social Energy Harvesting ZHdK 2014 7

Ballon MatrixDiese Idee orientierte sich wieder sehr stark an der Floating-Ball-Idee. Ballone sind an der Decke festgemacht, Men-schen können diese durch herunter-ziehen beleuchten, danach erlischt das Licht in ihnen langsam wieder. Um alle Ballons zum leuchten zu bringen, müs-sen alle gleichzeitig an den Ballonen ziehen.

Social Pressure BoxEine Box, bei der Sinneseindrücke von aussen, innen verstärkt dargestellt wer-den. Wenn man sich in der Box befin-det, wird man von den Eindrücken von aussen fast erdrückt.

Jamigo – Interactive Instruments For Social Energy Harvesting ZHdK 2014 8

Step Back To Square One

Nach drei Tagen Ideengenerierung mussten wir uns eingestehen, dass wir uns wohl in die falsche Richtung bewegten. Die Ideen schienen uns zu banal und zielten vor allem darauf ab, durch ihre Grösse ein visuelles Erleb-nis zu generieren. Nicht nur wäre es eine riesiger Aufwand geworden ein Big-Scale-Projekt aufzubauen, auch die Interaktionen, die wir uns ausdachten, fanden wir zu wenig interessant. Wir haben uns wahrscheinlich ein wenig zu fest von Projekten, die wir in unse-rem Research gefunden haben, beein-flussen lassen und wir sind wohl durch unsere Eitelkeit etwas grosses tun zu wollen zu weit vom Thema abgedriftet.

Dieses Thema sollte sein: Das Darstel-len einer Art sozialer Energie, die durch soziale Interaktionen von Menschen untereinander oder über ein Medium entsteht. Wie kann man das Gefühl, das diese Energie darstellt Aufzeigen?

1. Wir müssen Menschen irgendwie zusammenbringen.

2. Diese Menschen müssen eine Art Gemeinschaftsgefühl entwickeln, indem sie etwas sinnvolles zusam-men tun.

3. Dieses Gefühl muss als Output irgendwie dargestellt werden.

Wir entschieden uns noch einmal einen grossen Schritt zurück zu gehen und noch einmal so frei wie möglich an das Thema heran zu gehen und wirklich he-rauszufinden, was Social Energy Har-vesting genau für uns bedeutet.

Nachdem wir ein weiteres Brainstor-ming gemacht haben, sind wir auf ver-schiedene Situationen gestossen, in denen Menschen miteinander intera-gieren und in denen soziale Energie unserer Meinung nach besonders stark zum Vorschein kommt. Eine solche Si-tuation ist die, wenn Menschen zusam-men Musik machen.

Da wir am nächsten Tag unsere Kon-zepte präsentieren mussten, haben wir uns dafür entschieden ein mögliches Konzept aufzustellen, damit wir dieses am nächsten Tag präsentieren konn-ten. Zwar waren wir zu diesem Zeit-punkt alle noch nicht zufrieden wie das Ganze aussehen könnte, da wir aber eine Deadline hatten, mussten wir den Stand der Dinge halt einfach mal so umsetzen, wie er zu diesem Zeitpunkt war.

Jamigo – Interactive Instruments For Social Energy Harvesting ZHdK 2014 9

Erstes, nicht umgesetztes Konzept

Das erste Konzept war eine art Musik-station, an der verschiedene Menschen zusammen Musik machen konnten. In der Mitte dieser Station befindet sich ein Subwoofer, der mit Wasser gefüllt ist. Die einzelnen Instrumente generie-ren Töne und Lichter, die als Output mit dem Wasser zu einem Gesamtkunst-werk in der Mitte gemacht werden kön-nen. Dieser Output kann nur generiert werden, wenn alle Instrumente zusam-men spielen.

Die folgenden Bilder zeigen, wie eine solche Station hätte aussehen können. Wir ahnten aber schon beim erstellen der Zeichnungen, dass das Endprodukt nicht so aussehen würde.

Jamigo – Interactive Instruments For Social Energy Harvesting ZHdK 2014 10

Experimente Storyboard für erstes Konzept

FazitZwar waren wir mit dem Stand der Din-ge zu diesem Zeitpunkt noch nicht zu-frieden, einige positive Ansätze, die sich im finalen Konzept wiederfinden, haben sich in der Reflexion nachträglich aber trotzdem herauskristallisiert.

+ Der Gedanke des gemeinsamen Mu-sizierens, das als Interaktion «sozia-le» Energie übermittelt

+ Der modulare Aufbau des Geräts

Jamigo – Interactive Instruments For Social Energy Harvesting ZHdK 2014 11

Finales Konzept: Jamigo

Vom ersten Konzept zum richtigen KonzeptBei einem Bodystorming mit einem Paper-Prototype wurde uns bewusst, dass es eigentlich viel interessanter wäre, die einzelnen Unterstationen der grossen Station in kleinere zu unter-teilen und diese im Raum zu verteilen. Dabei könnte auch der Raum zwischen den Stationen zu einem interessanten Faktor für die Interaktionen werden.

JamigoJamigo ist ein System von drei Instru-menten, dem Aerophone, dem Bouncer und dem Scrooper. Alleine funktionie-ren die Instrumente nicht. Befindet sich aber eines oder mehrere Jamigo-Ins-trumente in der Nähe, fangen die Ins-trumente zu leben an. Jedes der drei Instrumente fängt in einer Grundfarbe an zu leuchten. Nähern sich zwei der Instrumente noch stärker mischen sich die jeweiligen Grundfarben. Dies ist gleichzeitig das Signal, dass die Inst-rumente nun gespielt werden können. Trifft schlussendlich noch das dritte In-strument auf die anderen, Mischen sich die Farben alle miteinander und die Ins-trumente leuchten weiss.

Jamigo – Interactive Instruments For Social Energy Harvesting ZHdK 2014 12

Form und Konstruktion von Jamigo

FormstudieNach einer Formstudie einigten wir uns darauf die Form so einfach wie mög-lich zu halten. Schlussendlich haben wir uns dazu entschieden uns an eine Zylinderform zu halten, die aber je nach Instrument leicht abzuändern.

PrototypingAls Grundlage für die Prototypen nah-men wir Seifenspender und funktionier-ten diese um. Zusätzlich haben wir für jedes Instrument mit dem Lasercutter Einzelteile angefertigt. Jedes Instru-ment ist mit einem spezifischen Sensor ausgerüstet.

1. Aerophone: PC-Lüfter

2. Bouncer: Neigungsschalter

3. Scrooper: Potentiometer

Um die Bedienung zu erleichtern sind die Instrumente mit Piktogrammen ver-sehen.

1. Aerophone: Blasen

2. Scrooper: Drehen

3. Bouncer: Schütteln

Jamigo – Interactive Instruments For Social Energy Harvesting ZHdK 2014 13

Form von Aussen

Lasercut eingebaut

Lasercut

Aerophone Bouncer Scrooper

Poti wird zwischenPlattenbefestigt

PC-Lüfter wirdan Konstruktionfest gemacht

Neigungs-schalter wirdan Kabel gelötet

Form von Aussen

Aerophone

PC-Lüfter wird an Konstruktion fest gemacht

Poti wird zwischen Platten be-festigt

Neigungs- schalter wird an Kabel gelötet

Bouncer Scrooper

Lasercut eingebaut

Lasercut

Jamigo – Interactive Instruments For Social Energy Harvesting ZHdK 2014 14

Verdichtung des Lichts durch durch Sandstrahler

Um dem Ganzen noch ein edleres Äu-sseres zu geben, haben wir uns dazu entschlossen die Instrumente mit dem Sandstrahler zu bearbeiten. Dadurch wird das Licht diffuser. In der Realität ist es dadurch für umstehende Leute einfacher zu erkennen, ob die Instru-mente aktiviert sind.

Storyboard

Jamigo – Interactive Instruments For Social Energy Harvesting ZHdK 2014 15

Technische Umsetzung

Für die Entwicklung und technische Umsetzung von Jamigo wurde folgen-de Hard- und Software verwendet:

GeräteKinect, Mac mini, ArduinoUno, Arduino Mega, Neigungsschalter (als Schüttel-sensor), Ventilator (als Pustsensor), Potentiometer (als Drehsensor)

SoftwareLogic Pro X, openFrameworks, Xcode 6, Processing 2, Midi Monitor

LibrariesofxKinect, ofxOpenCV, ofxMidi, ofxSim-pleSerial, SerialPort (processing)

Damit «Jamigo» richtig funktioniert muss jedes Device die Distanz zu den anderen wissen. Für diese Distanzmes-sung haben wir verschiedene Ansätze verfolgt. Der erste war eine Kombinati-on von einem Arduino Uno mit je einem Bluetooth Shield pro Instrument. Doch wegen dem grossen materiellen Auf-wand sowie dem benötigten Platz in den Devices wurde die Idee verworfen. Der zweite Ansatz war ähnlich aufge-baut, jedoch mit Low-Energy-Bluetoo-th-Sendern (iBeacons) in den Geräten. Dadurch konnten wir viel Platz gewin-nen, allerdings noch keine Sensordaten drahtlos übertragen. Leider waren auch bei dieser Lösung die Messungen der Distanzen nicht ausreichend präzise und so ent-

schieden wir uns für die am wenigsten fehleranfällige Lösung:

Positionsermittlung durch Kamera-Tracking und Datenübertra-gung mit Kabel

Die Abstandsmessung der Devices von aussen zu messen und nicht aus dem Device heraus stellte sich als zeitlich realisierbar dar um das Szenario und die Funktionalität aufzugeigen. Bei die-ser Lösung wurde ein Arduino Mega für die Beleuchtungssteuerung und die Sensorik der Devices verwendet. Diese waren über etwa 3 Meter lange 6-adrige geschirmte Audiokabel an das Arduino Mega angeschlossen. Dies ermög-lichte eine störungsfreie Übertragung von Daten. Für die Abstandsmessung der Devices untereinander haben wir in openFrameworks mit den Add-ons ofxKinect und ofxOpenCV einen De-vice-Tracker programmiert. Auf einem MacMini installiert kann er im Sichtfeld der Kinect Personen und Devices erken-nen und mit einfachen geometrischen Berechnungen den jeweiligen Abstand der Devices untereinander bestimmen. Diese Information wird an das Arduino Mega weitergegeben, interpretiert und auf die Devices übertragen. Somit ist es möglich die Instrumente zu steuern und ihnen ein Verhalten untereinander zu geben.

Diese Art der Umsetzung diente nur der Installation und der Präsentation, da die Installation ortsgebunden ist würde es nicht im öffentlichen Raum funktionie-ren. Für die Zukunft wäre eine Lösung mit einem Microcontroller und einem GPS-Sender, der über ein GSM-Signal Informationen an eine Datenbank sen-det, denkbar. Diese Lösung war leider im zeitlichen Rahmen des Moduls mit den verfügbaren Mitteln und dem pro-grammiertechnischen Aufwand nicht umsetzbar.

Jamigo – Interactive Instruments For Social Energy Harvesting ZHdK 2014 16

Zusammenspiel von Hard und Software

Jamigo – Interactive Instruments For Social Energy Harvesting ZHdK 2014 17

Mögliche Anwendungsgebiete nach Optimierung in der Zukunft

Autismus

Da es sich bei JAMIGO um eine ande-re Form von Kommunikation handelt, wäre es interessant herauszufinden, wie zum Beispiel autistische Kinder mit den Instrumenten interagieren würden.Spannend wäre auch, wie Demenzer-krankte auf das System reagieren wür-den, bietet es doch die Möglichkeit auf eine ganz einfache und intuitive Art und Weise mit anderen Menschen zu kom-munizieren.

Demenz