usability, design, interaction design, information, web usability, user interface design, usability engineering,user testing, usability inspection, heuristic evaluation, webdesign, UI, GUI, HCI, user-centered design,human-computer interaction, mensch computer interaktion,universität konstanz, usability test, benutzerfreundlichkeit, mensch-maschine-interaktion, mensch-computer-interaktion, human-computer-interaction, usable, website usability, ergonomie, ergonomisch, psychologie, gestalt principles, scenario, information visualization,informationsvisualisierung, User Interface Evaluation, Usability testing, Human Factors, Erogonomic, Ergonomics, User Interfaces, User Interface, Interfaces, informations visualisierung, visual information seeking system, visual search interface, Mensch & Computer 2012Harald Reiterer

Forschung

Neue Formen der Mensch-Computer Interaktion: Von der Realitätsbasierten Interaktion zur Blended Interaction

Ausgangspunkt: Neue Erkenntnisse der Kognitionspsychologie – Embodied Cognition

Die Graphische Benutzungsoberfläche (GUI) – obwohl schon Ende der 70er Jahre des letzten Jahrhunderts in Forschungslaboren entwickelt – stellt immer noch das dominante Interaktionsparadigma dar. Allerdings haben vor allem neuere Erkenntnisse der Kognitionspsychologie als auch die Vision des Ubiquitous Computing (Weiser 1991) maßgeblich dazu beigetragen, dieses Paradigma kritisch zu hinterfragen. In der Kognitionspsychologie hat sich in den letzten Jahren eine neue Sichtweise etabliert, die neben den internen – für uns unsichtbaren – kognitiven Vorgängen im Gehirn vor allem die Bedeutung unserer Interaktion mit der Umwelt bzw. mit anderen menschlichen Wesen für die kognitive Entwicklung untersucht. Dabei kam man zu der Erkenntnis, dass für die geistige Entwicklung und unser Alltagsverhalten diese als Embodied Cognition (Dourish 2001) bezeichnete Sichtweise sehr bedeutsam ist. Durch unsere körperliche und soziale Interaktion mit Objekten bzw. Lebewesen der Umwelt wird unsere kognitive Entwicklung wohl ganz maßgeblich beeinflusst. Für die Mensch-Computer Interaktion ergeben sich daraus zumindest zwei Konsequenzen: Erstens, unterstütze eine möglichst reichhaltige Interaktion mit dem Computer; zweitens, beziehe die Interaktion mit der sozialen Umwelt in die Betrachtung mit ein.

Konsequenzen: Umfassende Berücksichtigung körperlicher & sozialer Fähigkeiten

Reichhaltige Interaktion meint hier vor allem die Anzahl und die Art der Sinnesorgane und die körperlichen Fähigkeiten die dabei zum Einsatz kommen können. Dies wird auch als multimodale Interaktion (Oviatt 2008) bezeichnet, wobei hier neben der Spracheingabe heute vor allem berührungsempfindliche Displays und die Manipulation von Realweltobjekten in Kombination mit digitalen Displays eine wichtige Rolle spielen. Diese Form der Interaktion wird unter dem Begriff Tangible Computing (Ishii & Ullmer 1997) in der Forschung geführt. Die Dominanz des Tangible Computing ist sicher auch vor dem Hintergrund zu sehen, dass aktuelle technische Innovationen (iPhone von Apple, Surface von Microsoft) hier den kommerziellen Markt erreicht haben und damit auch Technologien (z.B. Multitouch- und Token-Erkennung, berührungsempfindliche Displays, etc.) zur Verfügung stehen, die robust genug sind um eine Vielzahl von Anwendungen außerhalb des Labors zu ermöglichen. Gleichzeitig haben die ersten positiven Erfahrungen der Benutzer mit diesen neuen Produkten eine hohe Bereitschaft zum Ausprobieren neuer Formen der Mensch-Computer Interaktion bewirkt.
Gleichzeitig soll aber auch die soziale Interaktion mit anderen Benutzern in die Betrachtung mit einbezogen werden. Diese Form der Interaktion wird unter dem Begriff Social Computing in der Forschung geführt und trägt vor allem dem Umstand Rechnung, dass heute vielfach Aufgaben oder Probleme in Gruppen gelöst werden oder Besuche von Museen, Ausstellungen, etc. vielfach in Gruppen stattfinden.
Unter dem Schlagwort Reality-Based Interaction (Jacob et al. 2008) werden die oben genannten Erkenntnisse der Kognitionspsychologie, die technischen Entwicklungen auf den Gebieten der multimodalen Interaktion sowie des Tangible und Social Computing zu einem neuen Paradigma zusammengefasst. Generelles Ziel ist es dabei die Interaktion mit dem Computer an der Interaktion mit der realen, nicht digitalen Welt zu orientieren und so realitätsbezogener – man könnte auch sagen begreifbarer – zu machen. Begreifbar hier durchaus im doppelten Sinn des Wortes: im Sinne von Angreifen und im Sinne von Verstehen. Die von Jacob und Mitautoren aufgestellten vier Leitprinzipien zur Gestaltung einer realitätsbasierten Interaktion: „Beachte das Alltagsverständnis der Mensch über physikalischer Gegebenheiten“; „Berücksichtige das Körperbewusstsein und die körperlichen Fähigkeiten der Menschen“; „Berücksichtige das räumliche Bewusstsein und die räumliche Fähigkeiten der Menschen“ und schließlich „Berücksichtige das soziale Verhalten und die sozialen Fähigkeiten der Interaktion & Kommunikation der Menschen“ sind ein hilfreicher Einstieg um den komplexen Designraum der neuen Form der Interaktion zu strukturieren und fassbarer zu machen.

Im Jahre 1991 hat Marc Weiser seine Vision des Computers des 21. Jahrhunderts veröffentlicht. Unter dem Begriff Ubiquitous Computing ist diese Vision in der Wissenschaft bekannt geworden. Er sah den traditionellen PC als dominierendes Medium der Mensch-Computer Interaktion an Bedeutung verlieren und erwartete für die Zukunft eine Vielzahl von vernetzten, kontextsensitiven interaktiven Geräten mit ganz unterschiedlichen Formfaktoren. Die von Marc Weiser als Tabs bezeichneten Geräte entsprechen von Art und Größe unseren Smartphones bzw. PDAs. Was er als Pads bezeichnete entspricht von Art und Größe unseren TabletPCs bzw. iPad (Apple). Seine als Boards bezeichneten Geräte entsprechen von Art und Größe unseren hochauflösenden Großdisplays bzw. elektronischen Whiteboards. Als ein wesentliches Ziel formulierte er sehr hellsichtig: “By pushing computers into the background, embodied virtuality will make individuals more aware of the people on the other ends of their computer links. ... Ubiquitous computers, ..., reside in the human world and pose no barrier to personal interactions. (Weiser 1991, Hervorhebung durch die Autoren)“. Implizit ist daher in seiner Vision die Annahme enthalten, dass sich die Interaktion zwischen dem Menschen und dem Computer an der Art und Weise orientiert, wie wir in der realen Welt mit Dingen und Menschen interagieren. Hier überschneiden sich die Ziele der Reality-Based Interaction mit der Vision des Ubiquitous Computing.

Blended Interaction: Umfassende Vermischung der realen und digitalen Welt

Daher ist die nächste Entwicklungsstufe der Mensch-Computer Interaktion von dem Ziel geprägt, die Interaktion mit einer Vielzahl von unterschiedlichen Endgeräten im Sinne des Ubiquitous Computing an den Prinzipien der Reality-Based Interaction zu orientieren. Benutzer interagieren dabei allein oder in Gruppen am gleichen Ort und wechseln dabei nahtlos zwischen realweltlicher Interaktion und Kommunikation sowie computergestützter Interaktion und gegebenenfalls auch Kommunikation (z.B. mit einer Person oder Mitgliedern einer anderen Gruppe an einem anderen Ort). Es kommt dabei zu einer Vermischung (Blend) von realer und digitaler Welt auf vielfältigen Ebenen, nämlich

  • der Interaktion: z.B. Schreiben mit digitalen Stiften auf Papier bewirkt analoge und digitale Darstellung; Interaktion mit Realweltobjekten wie Tokens vermischt analoge Interaktion mit der dadurch bewirkten digitalen Veränderungen,
  • der Kommunikation: z.B. Tokens bzw. Multitouch Displays ermöglicht eine gleichberechtigte Form der Kommunikation, da mehrerer Benutzer gleichzeitig interagieren können bzw. da gewohnte soziale Konventionen unmittelbarer Berücksichtigung finden können,
  • der realen und computergestützten Abläufe (Geschäftsprozesse): z.B. im Rahmen des Besuchs einer Ausstellung ist ein nahtloser Wechsel zwischen virtuellem Rundgang und realen Rundgang möglich; beim Recherchieren in einer Bibliothek kann die traditionelle Form der Recherche in Regalen mit den digitalen Möglichkeiten der Recherche kombiniert werden; beim Durchführen eines Brainstormings im Rahmen eines Design Meetings können traditionelle Kreativitätstechniken in Form von Karten mit den digitalen Möglichkeiten der Sortierung, Kategorisierung, etc. kombiniert werden – und
  • der Gestaltung der physischen Umgebung: z.B. Anpassung der Räume an neuen Formen der Interaktion und Kommunikation, in dem man beispielsweise Wände, Böden, Decken aber auch Ton und Licht in die Gestaltung der Interaktion einbezieht; damit ist eine Anpassung der Architektur im weitesten Sinne gemeint.

Wir bezeichnen dieses neue Interaktionsparadigma daher als Blended Interaction. Damit soll betont werden, dass eine alleinige Steigerung des Realitätsbezuges der Interaktion zu kurz greift. Die besondere Herausforderung und der vom Standpunkt des Benutzers entscheidende Vorteil besteht im sinnvollen Ineinandergreifen der erprobten Möglichkeiten der realen Welt auf zumindest den Ebenen der Interaktion, der Art wie wir Probleme mit herkömmlichen Werkzeugen lösen (Abläufe), der Gestaltung des Raumes bzw. der Architektur von Gebäuden und Plätzen mit der oft völlig neue Möglichkeiten bietenden digitalen Welt in Form von interaktiven Geräten unterschiedlichster Form aber auch intelligenten Alltagsgegenständen (z.B. Internet der Dinge). Unserer Meinung nach sind Interaktionskonzepte nur dann in der Lage eine neue Qualität der Interaktion zu bieten, wenn all diese Ebenen gleichzeitig und gleichgewichtig in die Gestaltung der Interaktion (Interaction Design) mit einbezogen werden.

Geeignete methodische Vorgehensweisen zur Realisierung von Blended Interaction

Die große Herausforderung beim Entwerfen und Implementieren von Interaktionskonzepten die der Idee des Blended Interaction folgen, ist das Finden der richtigen Mischung bzw. Verschneidung der realitätsbasiertern Interaktion & Kommunikation mit den technologischen Möglichkeiten der computerbasierten Interaktion & Kommunikation auf all den vorgenannten Ebenen. Jacob et al. (2008) bringen die Fragestellung wie folgt auf den Punkt: „What part of the user interface should be based on reality-based interaction and what part should be provide computer-only functionality that is not realistic?“ Sie empfehlen als Antwort folgende Vorgehensweise: „Make the first part as large as possible and use the second only as necessary, highlighting the tradeoffs explicitly.“ Sie benennen dabei eine Reihe von möglichen Tradeoffs im Sinne von Zielkonflikten, wie beispielsweise: „Reality versus Expressive Power, Reality versus Efficiency, Reality versus Plasticity, Reality versus Ergonomics, Reality versus Accessibility, Reality versus Practicality“. Diese sehr pragmatische und an klassischen Vorgehensweisen des (Produkt-)Designs orientierte Vorgehensweise bietet dem Interaction Designer kein theoretisch fundiertes Rüstzeug, an dem er sich zusätzlich orientieren könnte. Wir verfolgen daher den Ansatz, die Ideen und die Vorgehensweisen des „Conceptual Blending“ von Fauconnier & Turner (2002) auf die Gestaltung der Blended Interaction zu übertragen. Einen guten Einstieg dazu liefern die Arbeiten von Imaz & Benyon (2007), die eine Übertragung der Ideen und Konzepte von Fauconnier & Turner (2002) auf die Gestaltung der Mensch-Computer Interaktion vorgenommen haben. Es handelt sich dabei um eine Weiterentwicklung der Idee der Nutzung von Metaphern zur Gestaltung der MCI. Wir versuchen die Idee des Conceptual Blending im Rahmen der Umsetzung von Blended Interaction Konzepten in unterschiedlichen Anwendungsdomänen zu erproben und methodisch weiterzuentwickeln.

Demo or Die:  Konkrete Umsetzung der Vision Blended Interaction in Forschungsprojekten

Anhand von konkreten Anwendungsbeispielen, die im Rahmen von laufenden Forschungsprojekten zu Themen wie Blended Library, Blended Museum, Blended Interaction Design bearbeitet werden, erproben wir die Eignung der Ideen des Blended Interaction Konzeptes. Angeleitet von unserer Vision entstehen eine Reihe von konkreten Ausprägungen dieser Vision in Form von Designstudien und Forschungsprototypen, die eine praktische Erprobung – im Idealfall sogar mittels einer Längschnittstudien – ermöglichen. 
Die Forschungsdisziplin Mensch-Computer Interaktion (MCI) lebt von der Dualität und dem damit verbunden Spannungsfeld zwischen theoretischer Herleitung (z.B. von Prinzipien, Modellen sowie Theorien) und dem konkreten Entwurf von interaktiven Produkten (oft basierend auf Designideen individueller Designer oder Experten). Diese Dualität ist gleichzeitig ein Spannungsfeld für Diskussionen wie: Steht am Anfang eine Theorie und folgen daraus konkrete Prinzipien und Modelle die schlussendlich zu einem bestimmten Design führen? Oder: Steht am Anfang eine Designidee, die auf Erfahrung und Intuition der Designer basiert und aus der sich dann in weitere Folge Prinzipien, Modelle und Theorien verallgemeinern lassen. Blackwell (2006) zieht hier eine interessante Parallele zur Medizin als Wissenschaft. Sie basiert auf zahlreichen klinischen Studien, die – obwohl sie von theoretischen Überlegungen angeleitet werden – niemals eine 1:1 Umsetzung einer Theorie darstellen können. Dies ist in den individuellen Umständen der jeweiligen Teilnehmern (Patienten) der Studien begründet. Aus den Ergebnissen der Studien wird dann versucht abstraktere Konzepte im Sinne von Verallgemeinerungen herzuleiten. Diese sind dann Gegenstand der wissenschaftlichen Debatte. So stellt für ihn die ausgeprägte Demokultur in der MCI („demo or die“) quasi das Gegenstück zu den klinischen Studien dar, die jede für sich ein Stück Theorie beinhalten, die es dann in einem nachgelagerten Prozess zu „vergegenständlichen“ gilt. „The reification of ... many theories in HCI, has been carried out through the exhibition of design work. ... designed software products serve as theories that have been made into instruments“ (Blackwell 2006, p.517).

Einen ähnlichen Ansatz folgend versuchen wir ausgehend von einer allgemeinen Vision des Blended Interaction eine Vielzahl von Designentwürfen in unterschiedlichen Anwendungsdomänen zu realisieren. Jeder dieser Designs beinhaltet eine bestimmte Form der Exemplifizierung unserer Vision (und damit Theorie). In einem nachgelagerten kritischen Reflexionsprozess, begleitet von Längschnittstudien, versuchen wir dann allgemeine Prinzipien, Modelle und Vorgehensweisen abzuleiten, die für die Realisierung unserer Vision maßgeblich sind. Diese Vorgehensweise spiegelt die Dualität der MCI als Forschung- (primär interessiert an Theorien, Modellen und Prinzipien) und Designdisziplin (primär interessiert an der pragmatischen Umsetzung von Designideen) wider und ist unserer Meinung nach die dieser Disziplin angemessene Vorgehensweise.

Literatur

Blackwell, A. (2006). The Reification of Metaphor as a Design Tool. In ACM Transactions on Computer-Human Interaction, Vol. 13. No. 4, December 2006, Pages 490-530.
Dourish, P. (2001). Where The Action Is: The Foundations of Embodied Interaction. MIT Press. Cambridge, MA, USA.
Fauconnier, G., Turner M. (2002). The Way We Think: Conceptual Blending and the Mind's Hidden Complexities. New York: Basic Books.
Imaz, M., Benyon, D. (2007). Designing with Blends: Conceptual Foundations of Human-Computer Interaction and Software Engineering. The MIT Press.
Ishii, H., Ullmer, B. (1997). Tangible Bis: Towards Seamless Interfaces between People, Bits and Atoms. In Proceedings of the SIGCHI conference on Human factors in Computing Systems. CHI 2007. ACM Press, New York, pp. 234-241
Jacob, R. J., Girouard, A., Hirshfield, L. M., Horn, M. S., Shaer, O., Solovey, E. T., and Zigelbaum, J. (2008). Reality-based interaction: a framework for post-WIMP interfaces. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. CHI '08. ACM Press, New York, pp. 201-210.
Jetter, H. C., Geyer, F., Schwarz, T., Reiterer, H. (2012). Blended Interaction - Toward a Framework for the Design of Interactive Spaces. Workshop Designing Collaborative Interactive Spaces (DCIS 2012) at AVI 2012
Oviatt, S. (2008). Multimodal Interfaces. In Sears, A., Jacko J. (Eds.) The Human-Computer Interaction Handbook (2nd Edition), Lawrence Erlbaum Associates, New York, 2008, pp. 413-432.
Weiser, M. (1991). The Computer for the Twenty-First Century. In Scientific American. September 1991, pp. 94-100

A Day in the Lab



Im Magazin ACM interactions ist ein Artikel über unsere Arbeitsgruppe und unsere Labore erschienen. Mehr Informationen über unsere Aktivitäten, Philosophie und unsere technische Infrastruktur finden sich im PDF des Artikels.

Studienprofil MCI

Erfahren Sie im Mentoren Bereich mehr über die beruflichen Möglichkeiten sowie Fähigkeiten und Kompetenzen, die Ihnen das Studienprofil Mensch-Computer Interkation vermittelt.

Mehr Informationen zu den vielfältigen Berufsbildern der MCI finden sie auf der Website des Berufsverbandes der deutschen Usability-Professionals.

Studentenecke

In unserem Studentenbereich kannst Du Dich über unsere Vorlesungen, Forschungsprojekte und aktuell verfügbare Themen für Bachelor- und Masterarbeiten informieren. Mehr über MCI erfahren...
Contact

Kontakt

Adresse

Universitätsstrasse 10
Box D 73
78457 Konstanz

Telefon

+49 (0) 7531 88 2442

Fax

+49 (0) 7531 88 4772

Email

Sekretariat

Raum

PZ903

Sprechzeiten

Mo - Do, 10:00 - 12:00