usability & usefulness in digital libraries
Post on 21-Jan-2016
58 Views
Preview:
DESCRIPTION
TRANSCRIPT
Usability & usefulness in digital libraries
Summer School Digital Libraries
20.-24. September 2010
Prof. Dr. René Schneider, Haute Ecole de Gestion, Genf
Bozen-Bolzano
Warum dieses Modul?
1. Usability und Usefulness sind essentiell für die Kundenarbeit
2. Grundkenntnisse vermeiden Fehler in der Konzeption von DL
3. Lernen, selbst zu evaluieren oder Evaluationen zu beauftragen
4. Aktuelle Trends in der Evaluation kennenlernen
Ziele
1. Grundkenntnisse über das Themenspektrum erwerben
2. Das Verhältnis zwischen Usability & Usefulness verstehen
3. Modelle und Methoden kennenlernen
4. Konkrete und aktuelle Forschungsergebnisse präsentieren
Überblick
1. Begriffe & Definitionen
2. Usability (in Digital Libraries) 3. Usefulness (in Digital Libraries)
4. Forschungsprojekt ACCEPT
1. Begriffe & Definitionen
Definition: Digital Libraries
"Digital libraries are organized collections of digital information. They combine the structuring and gathering of information, which libraries and archives have always done, with the digital representation that computers have made possible."
Practical Digital Libraries. Michael Lesk. Morgan Kaufmann. 1997.
Beispiel
http://sunsite.berkeley.edu
Frage
Welcher Prozess steckt hinter diesen Begriffen?
Enwicklungsprozess
http://www.slideshare.net/UIEpreviews/search-discovery-patterns-a-uie-virtual-seminar
Definition: Evaluation
Evaluation (Evaluierung) ist in der allgemeinsten Bedeutung die Bewertung von Organisationseinheiten, Prozessen und Ergebnissen dieser Prozesse gemeint.Darunter fällt auch Software bzw. besondere Bestandteile dieser Software, also Benutzerschnittstellen und Inhalte.
Evaluation: Prinzipien
“Regardless of methodology, evaluation is a social activity.”
Hirschman/Mani 2003
http://findability.org/images/uxpeople.png
Frage
Welche Eigenschaften sollte eine benutzerfreundliche digitale Bibliothek besitzen ?
Eigenschaften
http://semanticstudios.com/publications/semantics/images/honeycombbig.jpg
Barrierefreiheit & Universal Design
Evaluation: Motivation Wie können diese unterschiedlichen Eigenschaften
während• der Entwicklung (development)• des Testens (testing)• der Auslieferung (deployment)
in objektive Qualitätskriterien gefasst werden? Zielgruppen / Interessenten
• Geldgeber,• Projektmanager,• Entwickler, • Benutzer.
Zeitpunkt: immer!
Evaluationstypen
Bewertende Evaluation: How good?• Hier wird eine bestimmte gewünschte oder geforderte
Systemeigenschaft geprüft. Analysierende Evaluation: Why bad?
• Ziel dieser Evaluation ist es, Hinweise auf Schwachstellen zu erhalten, um direkte Gestaltungsvorschläge zu liefern.
Vergleichende Evaluation: Which is better?• Zwei oder mehr Systeme werden miteinander verglichen
objektive Methodenversucht, die subjektiven Einflüsse weitgehend auszuschalten. Objektive Methoden ermitteln harte Daten, beispielsweise präzise Angaben über Bearbeitungszeiten und Fehlerzahlen. Ziel der objektiven Methoden ist die Beobachtung der tatsächlichen Benutzung der Anwendung. Die Beobachtung ohne technische Unterstützung erfolgt mit Hilfe von Beobachtungsprotokollen, die in der Regel in strukturierter Form vorliegen und die zu beobachteten Sachverhalte vorgeben.
Objektive vs. subjektive Methoden(1)
Beispiel: Logfile-Analyse
Objektive vs. subjektive Methoden(2)
subjektive MethodenBei subjektiven Methoden steht die Bewertung der Benutzungsschnittstelle durch den Benutzer im Vordergrund. Es werden hier sogenannte weiche Daten ermittelt, beispielsweise ob die Benutzung des Systems einfach, angenehm und verständlich ist. Vorwiegend werden hier Befragungen der Benutzer eingesetzt. Dabei können die Befragungen per Fragebogen oder als Interview erfolgen.
Beispiel: Usability-Test
Kriterien für die Wahl einer Methode
Was ist das Ziel der Evaluation?• Geht es um einen abschließenden Test des Gesamtsystems,
oder sollen bestimmte Aspekte überprüft werden? Wer soll die Evaluation durchführen?• Ist es besser, dass ein Experte das System inspiziert, oder
sollten auch Benutzer die Evaluation durchführen? Wo soll die Evaluation durchgeführt werden?• Soll sie in einem Labor oder einem Arbeitsplatz
durchgeführt werden?
Kriterien für die Wahl einer Methode
Welche Informationen werden gesammelt?• Was soll gemessen werden, welche Daten sind von
Bedeutung? Wie groß sind die Ressourcen?
• Wieviel Geld und Zeit stehen für die Evaluation zur Verfügung?
VorgehenFür die Durchführung einer gelungenen Evaluation geht es also darum, eine Vielzahl von Parameter a priori abzuschätzen.
Dabei kann es hilfreich sein, diese Parameter als Online-Beratungshilfe zur Verfügung zu stellen, um die Entscheidungsfindung zu erleichtern.
Evaluierungsplattform CHEVAL der HTW Chur: http://www.cheval-lab.ch/online-beratungskomponente
Das « LHC-Problem »Für fast alle Evaluationsmethoden muss beachtet werden, dass ein erheblicher Arbeitsaufwand für die Auswertung entsteht, der Tage, in vielen Fällen Wochen beansprucht.
Definition: UsabilityIn design, Usability is the study of the ease with which people can employ a particular tool or other human-made object in order to achieve a particular goal.
en.wikipedia.org/wiki/Usability
The state or condition of being usable; The degree to which an object, device, software application, etc. is easy to use with no specific training.
en.wiktionary.org/wiki/usability
Usability: Charakterisika (Nielsen)
•Effizienz (efficient to use)•Zufriedenheit (subjective satisfaction)•Erlernbarkeit (easy to learn)•Merkbarkeit (easy to remember)•Fehlertoleranz (few errors)
Usability: Methoden
•Expertenorientierte Methoden• Cognitive Walkthrough• Heuristische Evaluation•Benutzerorientierte Methoden• Fokusgruppen• Benutzerbefragung• Usability-Test
s. Schweibenz/Thissen: Qualität im Web
Qualität - Quantität
Jakob Nielsen, alertbox, 19 März 2010
Mythen zur Software-Evaluierung• Fünf Testteilnehmer reichen aus.• Das Hauptziel eines Usability Tests ist es, Usability
Probleme zu finden.• Ein Usability Test wird sehr viel besser, wenn er in
einem Usability Lab durchgeführt wird.• Usability Tests sind besser als Experten-Reviews.• Gefundene Probleme sind einfach zu korrigieren.
Rolf Molichhttp://www.slideshare.net/uxhh/5-mythen-ber-usability-testing
Definition: Usefulnessutility: the quality of being of practical use
wordnetweb.princeton.edu/perl/webwn
the quality of having utility and especially practical worth or applicability
Merriam Webster Online Dictionary
Definition: Usefulness“The content and services offered by a system, and how closely they meet user requirements, are considered key aspects of system usefulness.”
(Hartmann, 2006; Savolainen, 2008, Buchanan, 2009)
“The concept of usefulness defines whether DLs constitute valuable tools for the completion of users’ tasks. Usefulness answers the questions if DLs support users’ information needs and work completion.“
(Tsakonas et Papatheodorou, 2008, p. 1237)
2. / 3. Usability & Usefulness in DL
FrageWie verhalten sich
Usability & Usefulness
zueinander?
Usability & Usefulness
Etwas kann leicht zu bedienen, aber völlig nutzlos sein:Usability ist unabhängig von Usefulness. Hingegen kann nicht
nützlich sein, was schwer zu bedienen ist: Usefulness ist abhängig von Usability.
Usability & Usefulness in DL
Bei Usability (in digitalen Bibliotheken) geht es um die Schnittstelle zum System, genauer um die Beziehung zwischen System und Benutzer.
Bei der Usefulness (in digitalen Bibliotheken) geht es um den Inhalt, genauer um die Beziehung zwischen Inhalt und Benutzer.
The Elements of User Experience
http://www.jjg.net/elements/pdf/elements.pdf
Usability & Usefulness
In beiden Fällen geht es bei der Evaluation der Usability und der Usefulness um die Feststellung qualitativer Merkmale und deren Beurteilung durch den Benutzer.
Interaction triptych framework
http://www.is.informatik.uni-duisburg.de/wiki/index.php/JPA_2_-_WP7
Frage
Welche Merkmale kennzeichnen die Relationen zwischen Benutzer, Inhalt und System in einer digitalen Bibliothek?
Interaction triptych framework
Tsakonas, Papatheodorou, 2008, Exploring usefulness and usability in the evaluation of open access digital libraries
Usefulness in DL: Ausgangspunkt
Die Evaluation der Usefulness ist für Bibliotheken von besonderem Interesse, da diese Evaluation häufig intern (in house), d.h. durch den Bibliothekar geschehen kann.
Allerdings existieren im Gegensatz zur Evaluation der Usability wenige ausgereifte Methoden, sondern eher eine Vielzahl von Modellen zur Bestimmung der Nützlichkeit.
Usefulness in DL: Problematik
Der Grund scheint in einem prinzipiellen Antagonismus zwischen •den Bibliothekaren, die die Systeme erstellen und betreuen, •sowie den Nutzern, die die Inhalte konsultieren zu liegen. Bibliothekare und Nutzer haben häufig unterschiedliche Sichtweisen bzgl. der Nützlichkeit einer Ressource.
Usefulness in DL: P3 Modell
Dillon & Morris, 1999,Power, Perception and Performance: From Usability Engineering
to Technology Acceptance with the P3 Model of User Response
Usefulness: Modelle
Fuhr et al., 2001, Digital libraries: a generic classification scheme
Usefulness in DL: Evaluationskriterien
Fuhr et al., 2001, S. 193
Usefulness in DL: Voraussetzungen
Khani-Zabihi, Ghinea & Chen, 2006, „Digital libraries: what do users want?“
Usefulness in DL: Verbesserungsvorschläge
Khani-Zabihi, Ghinea & Chen, 2006, „Digital libraries: what do users want?“
Usefulness in DL: Verbesserungsvorschläge
Khani-Zabihi, Ghinea & Chen, 2006, „Digital libraries: what do users want?“
Usefulness in DL: Verbesserungsvorschläge
Khani-Zabihi, Ghinea & Chen. 2006, „Digital libraries: what do users want?“
Usefulness in DL: Verbesserungsvorschläge
Khani-Zabihi, Ghinea & Chen. 2006, „Digital libraries: what do users want?“
Das erste Mittel der Wahl bleibt …
der Fragebogen,
dessen Zusammenstellung und Auswertung alles andere als trivial ist.
Überblick
4. Forschungsprojekt ACCEPT
4. Forschungsprojekt ACCEPT
E-lib.ch
Strategisches Ziel ist es, E-lib.ch als das führende und zentrale nationale Portal im Sinne eines "Single-Point-of-Access" für die wissenschaftliche Informationsrecherche und Bereitstellung in der Schweiz aufzubauen und nachhaltig zu etablieren.
ACCEPTDas Projekt ACCEPT untersucht die Faktoren und Hindernisse, die eine Relevanz für die Bereitstellung digitaler Angebote im Kontext wissenschaftlicher Bibliotheken besitzen. Dabei soll überprüft werden, welche konkrete Wirkung die Bereitstellung elektronischer Ressourcen in digitalen Bibliotheken hat und wie die Erfahrungswerte der Nutzerseite auf die Gestaltung benutzerfreundlicher Schnittstellen zu übertragen sind. Aufbauend auf diesen Ergebnissen zum Thema "usefulness" wird die Benutzerfreundlichkeit der Benutzerschnittstellen von E-lib.ch mit dem Ziel getestet, eine maximale Nutzungsbreite sowie einen maximalen Nutzungsgrad von digitalen Ressourcen in wissenschaftlichen Bibliotheken zu erreichen.
In der ersten Projektphase wurde ein Verfahren zur Überprüfung der Nützlichkeit der Online-Ressourcen in Zusammenarbeit mit der Universitätsbibliothek Genf durchgeführt.
Fokus der Umfrage: - Format: Präferenz Papier – Digitale Ressource- Datenträger – Kommunikationsmittel (Laptop,
Smartphone, …)- Zugriff: Uni – Zuhause - Wichtigkeit von Volltextzugriff- Verhalten bei Nichtvorhandensein einer Ressource- Zeitaufwand für Suche
PERSONAS-Studie: Universität Genf
a) Erstellung eines Online Fragebogens und statistische Auswertung der Umfrage
b) Analyse von Gruppen und Profilen der Studenten, wissenschaftlichen Mitarbeiter und Professoren der Universtät Genf: Extraktion von authentischen Persönlichkeitsmerkmalen
c) Download von Public Domain Photos
d) Erstellung von PERSONAS-Profilen für charakteristische Benutzergruppen der einzelnen Fakultäten
Vorgehen:
PERSONAS-Studie (für die Universität Genf)
1. Umfrage 2. Soziale Netzwerke 3. Publ. Dom. Photos
4. Personas-Profile
PERSONA: Sophie
PERSONA: Philippe
Frage
Was sind Vor- und Nachteile des Personas-Verfahrens?
Vorteile des Personas-Verfahrens• Sie helfen dem Team, sich an die Stelle des Benutzers
zu setzen.• Benutzer werden „fassbar“: Entwickler fragen sich nicht
„Wie würde ich diese Aufgabe erledigen?“ sondern „Wie würde John diese Aufgabe erfüllen?“.
• Grössere Identifizierung mit dem Benutzer: Personae erhöhen die Empathie der Entwickler für den Benutzer.
• Ökonomisches Werkzeug: Personae können schnell und unkompliziert erstellt werden. (Zeitaufwand etwa ein bis zwei Wochen.)
Nachteile des Personas-Verfahrens• Es besteht die Gefahr der Künstlichkeit der Personen.• Der direkte Kundenkontakt kann verloren gehen. • Probleme bei heterogenen Benutzergruppen.• Jedes Projekt braucht eigene Personae.• Personen wandeln sich, (auch im Umgang mit
Systemen).
PERSONAS-Studie: Universität Genf
Um auf den Kontext von digitalen Bibliotheken zurückzukommen: es geht nicht darum, was Bibliothekare von einer Ressource oder einer Dienstleistung wollen oder halten.Es geht um die Bedürfnisse und Erwartungen der Kunden. Personae sind eine einfache und effiziente Methode, diese Bedürfnisse zu illustrieren.
Usability-Tests: E-codices
Zu Beginn der zweiten Projektphase wurden zwei Testserien zur Evaluation der Benutzerfreundlichkeit von E-codices.ch (www.e-codices.ch), einer virtuellen Bibliothek für mittelalterliche Handschriften der Schweiz. Die Testserien beschäftigten sich mit der Suche nach Dokumenten, insb. der fassettierten Suche sowie der Arbeit mit dem Manuskript. In beiden Fällen wurden vergleichende Studien durchgeführt, d.h. E-codices wurde direkt mit jeweils einem anderen System verglichen.
Frage
Welchen Verlauf und welche Aufgaben könnte ein solcher Test haben?
Testablauf: Fassettiertes Browsen
1. Bisherige Erfahrungen / Freies Surfen2. Suchstrategie erläutern3. Dokumente suchen4. Dokument mit Fassette suchen
(Wechsel zur anderen Plattform)5. Direkter Vergleich des „look&feel“6. Gleiches Dokument suchen7. Wissensgebiet mit Fassetten einschränken8. Post-hoc Interview zu Fassettierung
Testablauf: Arbeiten mit dem Dokument
1. Bisherige Erfahrungen / Freies Surfen2. Suchstrategie erläutern3. Dokumente suchen4. Arbeiten mit dem Faksimile: Funktionen erläutern
(Wechsel zur anderen Plattform)5. Direkter Vergleich des „look&feel“6. Arbeiten mit dem Faksimile: Funktionen erläutern7. Gesonderte Funktionen: RSS / Material / DFG-Viewer8. Post-hoc Interview zur Arbeit mit dem Dokument
Analyse
Ergebnisse
Ergebnisse
Verbesserungsvorschläge
Verbesserungsvorschläge: Fassettierung
Suche mit Suchfenster
Verbesserungsvorschläge: Faksimile
Literatur
• Schweibenz, Thissen, 2003, Qualität im Web, Springer.
• Krug, 2005, Don’t make me think. New Riders.
• www.useit.com
• ACCEPT Forschungsberichte: http://campus.hesge.ch/id_bilingue/projekte_partner/projekte/accept/kontext.asp
• Hegner, Methoden zur Evaluation von Software, IZ-Arbeitsbericht Nr. 29, 2003
• Kani-Zabihi, Ghinea & Chen, 2006, “Digital Libraries: what do users want?”, Online Information Review, vol. 30, no. 4, pp. 395-412.
• Tsakonas, Papatheodoru (ed.), 2009, Evaluation of Digital Libraries: An Insight into Useful Applications and Methods, Chandos.
Fragen?
Danke für Ihre Aufmerksamkeit!
top related