Was mit der Kinect von Microsoft so alles möglich ist, zeigen die Wissenschaftler der Eidgenössischen Technischen Hochschule in Zürich (ETH) mit einem Flugroboter, dem sogenannten Quadrocopter. Per einfacher Armgesten steuern sie die Drohne ziemlich mühelos. Ein räumlicher Schutzbereich um den virtuellen Piloten schützt ihn vor etwaigen Folgen einer Fehlbedienung. Damit sind sogar recht spektakuläre Loopings drin. Mehr über das Projekt.

[Video ansehen]

Tennis geht übrigens auch. ;)

[Video ansehen]

Seit einiger Zeit befasse ich mich gedanklich mit der Idee einer gefühlsbasierten Kommunikationsplattform. Dazu mehr an gesonderter Stelle.

Die Kollegen von Syzygy aus Bad Homburg hatten jetzt zum Teil offenbar ähnliche Gedanken und zeigen mit GOAB eine Studie (Video siehe unten), wie das Fernsehen in Zukunft durch kontextuelle, soziale und multimediale Kanäle erweitert werden kann. Damit ist es möglich, bezogen auf die eigenen Vorlieben das TV-Programm zu wählen. Das ist erstmal nichts neues, spannend wird es aber, wenn diese Vorlieben sich auch aus der Gefühlslage und dem sozialen Umfeld des Nutzers generieren. Hierfür gibt es eine Tagcloud, aus der Stimmungen ausgewählt und damit das Programm bestimmt werden kann.

Sieht man im laufenden Programm etwas Interessantes, etwa das Kleid der Schauspielerin, kann man direkt weitere Informationen dazu recherchieren. Damit nicht genug. Der soziale Kanal wird geöffnet, in dem der Kaufimpuls durch das Urteil der Freunde, die zeitgleich online sind, evaluiert werden kann. Wie finden die das Kleid? Soll man es kaufen? Wenn ja, kann man das direkt tun.

Standards, wie zeitversetzten Fernsehens, multimedialer Programmguide und Statistiken, etwa zum aktuellen Fussballspiel, sind ebenfalls mitgedacht. Dabei hat das Ganze auch noch eine unwiderstehliche Oberfläche. Gut gemacht!

Einzig, mir drängen sich die gleichen Bedenken auf, die ich schon beim inzwischen wieder eingestellten Google Wave hatte: Der Mensch ist mit multidimensionalen Medien häufig überfordert. Insbesondere das Fernsehen gilt als sehr aufmerksamkeitsbindendes Medium. Sollte man das um weitere Elemente erweitern, die ebenfalls um das kostbare Gut der Beachtung buhlen?
Und was wird aus der Experience eines spannenden Spielfilmes, wenn ich ihn alle 10 Minuten für eine Recherche oder einen Abgleich mit meinem Social Network unterbreche? Wer kennt das nicht: Man wollte nur mal kurz nach den E-Mails schauen und findet sich drei Stunden später im Kaufdialog von Amazon wieder, um ein neues MP3 Album zu bezahlen, ohne zu wissen, wie man dort gelandet ist und was man eigentlich tun wollte.

Sicher, das alles liegt in der Hand des Nutzers. Aber schon bei Wave hat sich gezeigt, dass die Komplexität eines kolaborativen Tools schnell das Aufnahmevermögen übersteigt und es damit unattraktiv oder gar unbenutzbar macht.

[Video ansehen]

Diese asiatische Studie, Line Phone genannt, zeigt, wie innovativ man neue Bedienkonzepte mit dem Gerät verschmelzen kann. Es hat den Gold-Award beim Furong Cup “Digital Product and Service Design Competition” 2010 in China gewonnen (Über den Cup selbst konnte ich leider nichts in Erfahrung bringen).

Insbesondere die Hinzunahme der Seiten des Devices für Interface und optisches Feedback halte ich für sehr gelungen und bedenkenswert. Wobei man allerdings in dieser optimierten Darstellung bedenken muss, dass das Gerät noch gehalten, und ggf. des öfteren umgegriffen werden muss. Für den Share- sowie insbesondere den PC-Mode hingegen sehe ich wenig Bedarf und Anwendungsfälle.

[Video ansehen]

Das Fraunhofer-Institut für Angewandte Informationstechnik (FIT) hat einen interessanten Prototypen einer berühungslosen Gestensteuerung vorgestellt. Das Spannende: die aufnehmende Kamera ist für drei Dimensionen empfindlich, simuliert hintereinander liegende Objekte und interpretiert den Griff danach. Das Ganze erinnert – wieder mal – an Minority Report. Interessant ist jedoch insbesondere die Granularität, mit der ohne Hilfsmittel, wie Handschuhe oder Reflektoren, sogar einzelne Finger erkannt werden.

Derzeit wirkt der Prototyp noch recht träge und es scheint zu Störungen und Interferenzen, etwa durch Armbanduhren, zu kommen, wie die Entwickler sagen. Dennoch ist eindrucksvoll erkennbar, was im Bereich der berührungslosen Interfaces mittlerweile möglich ist. Meine Prognose ist, dass wir in spätestens fünf Jahren so etwas im produktiven Einsatz sehen.

[Video ansehen]

via

Einen interessanten Prototypen einer Maussteuerung ohne Maus hat Pranav Mistry, Doktorand am MIT Media Lab mit seinem Projekt “Mouseless” vorgestellt. Mittels eines Lasers wird ein Feld erzeugt, dass mit der Hand beeinflusst wird. Eine Infrarotkamera filmt die Veränderungen ab, die Software verwandelt sie in Interaktion. Spannende Sache, da so gewohnte Gesten ohne das entsprechende Endgerät durchgeführt werden können. Der Nutzer hat keine Lernhürde, das Interface erschließt sich beinahe sofort.

[Video ansehen]

via

Der australische Tänzer und Choreograph Gideon Obarzanek stellte am vergangenen Samstag auf der fünften See Conference in Wiesbaden unter anderem seine Arbeit Mortal Engine (Video siehe unten) mit der Tanzgruppe Chunky Move vor. Dabei werden die Bewegungen der Tänzer auf einer schiefen Ebene von einer Infrarot Kamera aufgenommen. Eine Software errechnet in Echtzeit Projektionen, die auf die Bühne zurückgeworfen werden und mit den Tänzern interagieren, ohne diese direkt zu beeinflussen. Obarzanek sagte, diese Kombination von Tanz und Technik gebe ihm die Möglichkeit, einer inneren, visionären Welt Ausdruck zu verleihen. Diese Aussage wird greifbar, betrachtet man die Performance.

Interessant ist für mich der Aspekt, dass die Tänzer, auch wenn sie natürlich von den Projektionen wissen, aufgrund der Perspektive davon offensichtlich nichts, beziehungsweise nur sehr wenig mitbekommen. Damit wirken die computergenerierten Animationen als Ergänzung des Tanzes, die der Tänzer steuert, ohne dass er dies wahrnimmt. Er kann sich völlig auf seine Kunst konzentrieren und verschmilzt quasi mit der virtuellen Welt.

Die Musik stammt übrigens von Ben Frost.

Mortal Engine:

[Video ansehen]

Gideon Obarzanek über seine Arbeit:

Und hier der Talk auf der See:

[Video ansehen]

Vor einiger Zeit habe ich über das immersive Muskel-Interface von Microsoft berichtet, das mit Hilfe der elektrischen Impulse von Muskelkontraktionen einen Input entgegennimmt und verarbeitet.

Chris Harrison von der Carnegie Mellon University beschäftigt sich damit, wie uns umgebende Alltagsgegenstände, z.B. Möbel, für Interfacezwecke genutzt werden können. Mit Skinput denkt er nun in eine ähnliche, wenn auch technisch andere Richtung, wie die Entwickler des Muskel-Interfaces (übrigens ebenfalls in Zusammenarbeit mit Microsoft Research): Durch Berührungen verursachte Schall- und Impulswellen, die den Körper durchlaufen werden in ihrer Intensität und Identität ausgewertet und zu Steuerungszwecken eingesetzt. Eine gleichzeitige Projektion verwandelt den Körper damit in eine Computerschnittstelle. Wie gut das schon funktioniert, zeigt das folgende Video.

[Video ansehen]

Ebenfalls interessant ist die Idee, Kratzgeräusche des Fingernagels für einfache Interaktionen einzusetzen:

[Video ansehen]

Gesture Cube ist ein von Zinosign entwickeltes berührungsloses Bedienkonzept, und steckt in einem sehr schicken Kubusgehäuse (Design LUNAR Europe), das fünf der sechs Seiten des Quaders als Display und Interface nutzt. Konzept und Software basieren auf GestIC der IDENT Technology AG.

Das Ganze wirkt noch etwas sperrig und behäbig, in der Wohnung herumtragen, wie hier gezeigt, wird man das Teil sicher zunehmend seltener. Ganz spannende Geschichte dennoch, weil es einen Eindruck davon vermittelt, wie berührungslose Interfaces im dreidimensionalen Raum funktionieren können und sich gleichzeitig in den Lebensraum integrieren lassen.

[Video ansehen]

Mobile Anwendungen bringen neben ihren vielen Vorteilen auch den Nachteil mit sich, dass man in der Regel nicht vor einem Computer sitzt, wenn man sie bedienen muss. Jeder Jogger kennt die Schwierigkeit, während des Laufens seinem MP3-Player ein bestimmtes Musikstück zu entlocken. Eine mit den Fingern zu bedienende Benutzerschnittstelle bereitet auch dann Probleme, wenn man die Hände gerade anderweitig gebraucht und z.B. etwas trägt. Auf diesem Gebiet beschäftigt sich die Forschung etwa mit Sprach-, Gesten- oder Gedankensteuerung. Andere Interaktionsmöglichkeiten werden gesucht, um einen menschlichen Gedanken oder Willen zunächst in eine Interaktion mit, und schließlich eine Aktion der Maschine zu verwandeln.

Mit dem “Muscle-Computer-Interface” schlägt die Microsoft Forschungsabteilung in eben diese Kerbe. Sensoren, etwa an den Armen aufgebracht, werden per Software kalibriert und ermöglichen dann eine Steuerung durch bloße Muskelanspannung. Neben praktisch nicht sichtbarer Interaktion lassen sich daraus auch Gesten ableiten. Die Technik, die hier Anwendung findet, nennt sich Elektromyographie (EMG). Mit ihr kann die elektrische Muskel-Aktivität gemessen werden.

Das System erinnert stark an Versuche, Körperprothesen von Amputationspatienten bedienbar zu machen und zeigt einen wachsenden Trend zu immersiven Interfaces. Die Verschmelzung von Mensch und Maschine soll in Zukunft durch Exoprothesen und Implantate vollzogen werden. Auch Augmented Reality spielt hierbei eine Rolle. Die Grenze zwischen realer und virtueller Welt verschwimmt. Anwendungsgebiete finden sich wie bei allen berührungslosen Interfaces in der industriellen Fertigung. Überall dort, wo eine direkte Bedienung zu anstrengend, gefährlich oder eben dadurch nicht möglich ist, dass der Nutzer seine Händer anderweitig benötigt, sind sie von Nutzen.
Daneben haben die Forscher aber vor allem die oben angesprochenen alltäglichen Tätigkeiten im Blick, wie der Film zeigt. Für eine Vier-Finger-Erkennung weisen sie eine Genauigkeit von durchschnittlich 79 Prozent bei Kneifbewegungen vor. Beim Tragen eines Bechers oder einer Tasche sind es immerhin 85, respektive 88 Prozent.

[Video ansehen]

Nicht mehr wirklich neu, dennoch eine spannende Präsentation von Pattie Maes auf der TED Conference in Monterey im Februar 2009. Mit schrumpfender, kompakter Hardware und einer akzeptablen Lösung für das Problem des Fingertrackings (lackierte Fingernägel sind keine echte Option) ist das ohne Frage ein tragfähiger Ansatz. Insbesondere die gezeigten Anwendungsfälle sind gut gewählt und bieten zum Teil echten Mehrwert.

[Video ansehen]