lv-leiter prof. albert forschungsmethodik iii ws 07/08 08.01.2008 1 psychologische...

LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008

1

Psychologische Forschungsmethodik III Allgemeine Psychologie

Abschlussreferat

Wie wirken sich die beiden Varianten „Scrollen“ vs. „Nicht Scrollen“ auf die Zufriedenheit und die Leistung der

BenutzerInnen des CbKST-Kurses aus

Höfler EvaLercher Eva

Weißenberger Verena


2

ÜBERBLICK Stand der Forschung

Allgemeines zum E-Learning Allgemeines zum Scrollen Allgemeines zur Motivation Untersuchung zum Scrollen

Fragestellungen Hypothesen Methode Datenauswertung Verständnisfragen Literatur


3

Allgemeines zum E-Learning Problem:

Tendenz, die Seite zu verlassen, wenn diese nicht benutzergerecht, sprich gebrauchstauglich (wie beispielsweise unübersichtlich) ist.

Definition Gebrauchstauglichkeit (Usability):The extend to which a product can be used by specific users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use. (Norm ISO 9241, Teil 11)


4

Allgemeines zum ScrollenDefinition „Scrollen“: Scrollen bezeichnet den Vorgang in der EDV, bei dem maneine umfangreiche Datei, die auf dem Bildschirm nicht imGanzen dargestellt werden kann, [durch vor allem vertikales Verschieben der Darstellung] in Ausschnittennach und nach auf dem Bildschirm erscheinen lässt. (Fremdwörterduden Band 5)


5

Allgemeines zur Motivation Das ARCS-Modell von Keller/Kopp 1987 wurde auf

Basis des bereits bestehenden motivationalen Designs von Keller (1983) erstellt, wobei das Akronym ARCS für die vier motivationalen Bedingungen steht (vgl. Keller/Kopp 1987; Niegemann 2001; Niegemann et al. 2004): Aufmerksamkeit (attention) Relevanz (relevance) Erfolgszuversicht (confidence) Zufriedenheit (satisfaction)


6

Allgemeines zur Motivation Definition zufrieden:

Innerlich ausgeglichen, sich mit denGegebenheiten in Einklang befindend undkeine Veränderung der Umstände wünschend ist ein zufriedener Mensch. (Duden, das Bedeutungswörterbuch)


7

Allgemeines zur Motivation Unsere Fragestellung: Wirkt sich die

Reduktion des Scrollens auf die Befindlichkeit bzw. Zufriedenheit der BenutzerInnen des CbKST-Kurses aus?


8

Untersuchung zum Scrollen

Paging vs. Scrolling: examining ways to present search results

Bernard, M., Baker, R., Chaparro, B.& Fernandez, M. (2002)


9

Untersuchung zum Scrollen Einleitung

Aus Vorgängerstudien :

widersprüchliche Ergebnisse hinsichtlich „Paging“ und „Scrollen“ in Bezug auf die Leistung („Paging“ führt zu besserer Leistung als „Scrollen“ bzw. es gibt keinen Unterschied zwischen „Paging“ und „Scrollen“ in Hinblick auf die Leistung)

Paging wird von nicht erfahrenen BenutzerInnen gegenüber Scrollen bevorzugt.


10

Untersuchung zum Scrollen Unsere Fragestellungen

Führt die Reduktion des Scrollens zu besserer Leistung im CbKST-Kurs?

Gibt es einen Unterschied in der Präferenz in den Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“ zwischen erfahrenen und weniger erfahrenen BenutzerInnen?


11

Untersuchung zum Scrollen

Fragestellung in der Studie:Wie viel Information soll auf einer Seite (Suchergebnisse) präsentiert werden?


12

Untersuchung zum Scrollen Methode

UntersuchungsteilnehmerInnen: Durchschnittliche Internetbenutzung: 7 – 14 Std / Woche

UV I: 3 Layouts: 10 Links / Seite (10 Seiten) 50 Links / Seite (2 Seiten) 100 Links / Seite (1 Seite)

AV I: Leistung (Sucheffektivität) AVII: wahrgenommene Sucheffektivität

(Zufriedenheit) AVIII: Präferenz


13

Untersuchung zum Scrollen Conclusio:

50 Links / Seite ist die Schnellste (In Sekunden: M50=450; M100=550; M10=590) und am häufigsten bevorzugte Bedingung (Mittlere Präferenz: 50 Links:49%,100 Links:11%, 10 Links:40%) Geringe Anzahl an „Paging“ (nur 2 Seiten) und geringe Anzahl an

„Scrolling“ 100 Links / Seite ist die am wenigsten bevorzugte

Bedingung – ist auch die schwierigste Bedingung, um die korrekte Antwort zu finden Leicht Informationen zu finden (M100=3,50; M50=4,20; M10=4,30) Überhäufteste Bedingung (M100=5,00; M50=4,25; M10=3,70) Am unprofessionellsten wirkend (M100=3,50; M50=3,90; M10= 4,00)

Daraus folgt: beste Leistung bei reduziertem „Paging“ und reduziertem „Scrolling“


14

ÜBERBLICK Theoretischer Hintergrund Fragestellungen Hypothesen Versuchsaufbau Datenauswertung Verständnisfragen Literatur


15

Fragestellungen

Wirkt sich die Reduktion des „Scrollens“ auf die Befindlichkeit bzw. die Zufriedenheit der BenutzerInnen des CbKST-Kurses aus?

Führt die Reduktion des „Scrollens“ zu besserer Leistung im CbKST-Kurs?

Gibt es einen Unterschied in der Präferenz in den Bedingungen „Scrollen“ vs. „Nicht Scrollen“?


16

ÜBERBLICK Theoretischer Hintergrund Fragestellungen Hypothesen

Forschungshypothesen Statistische Hypothesen

Methode Datenauswertung Verständnisfragen Literatur


17

Forschungshypothesen1, 2, 3 & 4 Die Reduktion des „Scrollens“ wirkt sich auf die

Befindlichkeit bzw. die Zufriedenheit der BenutzerInnen aus

Die Reduktion des „Scrollens“ führt zu besserer Leistung im CbKST-Kurs

Es gibt einen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“

Es gibt einen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“ zwischen erfahrenen und weniger erfahrenen BenutzerInnen


18

Statistische Hypothesen

H0-1: Es gibt keinen Unterschied zwischen „Scrollen“ und „Reduziertem Scrollen“ im Hinblick auf die Leistung

H1-1: Die Reduktion des „Scrollens“ führt zu besserer Leistung

H0-2: Es gibt keinen Einfluss der Reduktion des „Scrollens“ auf die

Befindlichkeit bzw. die Zufriedenheit der BenutzerInnen H1-2: Es gibt einen Einfluss der Reduktion des „Scrollens“ auf die

Befindlichkeit bzw. die Zufriedenheit der BenutzerInnen


19

Statistische Hypothesen

H0-3: Es gibt keinen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“

H1-3: Es gibt einen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“

H0-4: Es gibt keinen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“ zwischen erfahrenen und weniger erfahrenen BenutzerInnen

H1-4: Es gibt einen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“ zwischen erfahrenen und weniger erfahrenen BenutzerInnen


20

ÜBERBLICK Theoretischer Hintergrund Fragestellungen Hypothesen Methode

Versuchsplan Versuchsdesign Versuchspersonen Versuchsdurchführung Apparative Hilfsmittel Versuchsmaterial Ablauf der Testung

Datenauswertung Verständnisfragen Literatur


21

Variablen (UV, AV)

UV´s

Versuchsbedingung: „Scrollen“ vs. „reduziertes Scrollen“ Versuchsgruppen: erfahrene BenutzerInnen vs. weniger erfahrene BenutzerInnen (festgelegt durch Medianbildung)

AV´s

Leistung (metrisch) Befindlichkeit (metrisch) Präferenz (nominal)


22

Versuchsdesign Design: Multivariates 2 x 2 Design 1 Within-Subject –Faktor, 1 Between-Subject –

Faktor

Versuchsbedingung

Scrollen Reduziertes ScrollenVersuchsgruppe erfahren 15 15

weniger erfahren

15 15


23

Versuchsdesign Design: Multivariates 2 x 2 Design 1 Within-Subject –Faktor, 1 Between-Subject –

Faktor

Versuchsbedingung

Scrollen Reduziertes Scrollen

Versuchsgruppe erfahren 15 15

weniger erfahren

15 15


24

VersuchsdesignKontrolle von Störvariablen „Scrollen“ – „Reduziertes Scrollen“ vs.

„reduziertes Scrollen“ – „Scrollen“

t1 t2

15 15

15 15Scrollen

reduziertes Scrollen


25

Versuchspersonen 30 Personen 15 Frauen, 15 Männer Durchschnittsalter: M 25,33 SD 5,63

Range: min: 17, max: 46 Ausbildung:

Matura: 25 Uni/FH: 3 Pflichtschulabschluss: 1 Lehrabschluss: 1


26

Versuchspersonen Berufstätigkeit:

SchülerIn: 1 StudentIn: 16 Vollzeit beschäftigt: 6 Ausbildung & berufliche Tätigkeit: 7

Rekrutierung: aus dem Bekanntenkreis Versuchsscheine für StudentInnen im Ausmaß von

90 Minuten


27

Versuchsdurchführung Ort: PC Raum KG 0108 (Universitätsplatz 2,

im Kellergeschoß) Zeitraum 27.11.2007 – 30.11.2007 Uhrzeit: 09:00 – 21:00 nach Vereinbarung Paralleltestungen Instruktionen mündlich und auf Papier Testung am PC, Testung mittels Fragebögen

und strukturiertem Interview


28

Apparative Hilfsmittel

PC mit Microsoft Windows CbKST-Kurs (Albert et al) Umprogrammierter CbKST-Kurs (J. Florineth)


29

Versuchsmaterial Personendatenblatt

Vpn-Code Alter Geschlecht Erhebungsdatum Schulabschluss / Berufstätigkeit PC-Erfahrung („Wie viel Stunden/Woche arbeiten Sie durchschnittlich

am PC?“) Instruktionen STAXI (nur State-Skala): zur Messung der Befindlichkeit & 5-stufige

Ratingskala zur momentanen Befindlichkeit (Smily-Skala) Datenblatt zur Erhebung der bearbeiteten Items Strukturiertes Interview inklusive Präferenzfrage CbKST-Kurs (2 Versionen)


30

Versuchsmaterial (CbKST-Kurs)

Scrollen


31

Versuchsmaterial (CbKST-Kurs)

Nicht Scrollen


32

Versuchsablauf Begrüßung Instruktion in mündlicher und schriftlicher Form Ausfüllen des Personendatenblattes und Befindlichkeitserhebung

(Baseline) mittels STAXI & Smiley-Skala Vorgabe der Instruktion zum CbKST-Kurs, Vorgabe des 1.Datenblattes

zur Erhebung der bearbeiteten bzw. der gelösten Items & schriftliche englische Einführung zum CbKST-Kurs (20 min)

CbKST-Kurs (1) (15 min) Befindlichkeitserhebung (STAXI & Smiley-Skala) Vorgabe der Instruktion zum CbKST-Kurs & des 2. Datenblattes CbKST-Kurs (2) (15 min) Befindlichkeitserhebung (STAXI & Smiley-Skala) Strukturiertes Interview inklusive Präferenzfrage Verabschiedung


33



34

Datenauswertung AV 1: Leistung

Anzahl der richtig gelösten Items

AV 2: Befindlichkeit Mittelwertsvergleiche

AV 3: Präferenz Angabe, ob Version „Scrollen“ oder Version

„reduziertes Scrollen“ bevorzugt wird Häufigkeiten


35

Datenauswertung T- Test:

Auswirkungen der UV „Scrollen“ vs. „ Reduziertes Scrollen“ auf die Leistung (aus dem Datenblatt)

Scrollen Nicht Scrollen

M (SD) M (SD)Leistung 2,20 (1,52) 3,63 (2,08)

Anmerkung: p<.05


36

Datenauswertung Ergebnisse zur Leistung

H0-1: Es gibt keinen Unterschied zwischen „Scrollen“ und „Reduziertem Scrollen“ im Hinblick auf die Leistung nicht bestätigt

H1-1: Die Reduktion des „Scrollens“ führt zu besserer Leistung bestätigt


37

Datenauswertung Einfaktorielle Varianzanalyse für abhängige

Messungen Wirkt sich die Reduktion des „Scrollens“ auf die Befindlichkeit

bzw. die Zufriedenheit der BenutzerInnen aus Voraussetzungen:

intervallskaliert (AVs und Kovariate) Sphärizität: Mauchley´s Test (ns) Normalverteilungsprüfung: Schiefe, Kurtosis &KS-Test

signifikant; zentrales Grenzwerttheorem: für praktische Zwecke gilt, dass die Mittelwerteverteilung auch für extrem von der Normalität abweichende Grundgesamtheiten hinreichend normal ist, wenn N

AVs und Kovariate korrelieren miteinander (selber Test)

Alle Voraussetzungen erfüllt

30


38

Datenauswertung Ergebnisse zur Befindlichkeit bzw.

Zufriedenheit:

Baseline Nicht Scrollen Scrollen

M (SD) M (SD) M (SD)

12,13 (3,62) 14,70 (5,98) 15,00 (6,01)

Anmerkung: alle Ergebnisse ns.


39

Datenauswertung

Ergebnisse zur Befindlichkeit bzw. Zufriedenheit

H0-2: Es gibt keinen Einfluss der Reduktion des „Scrollens“ auf die Befindlichkeit bzw. die Zufriedenheit der BenutzerInnen bestätigt

H1-2: Es gibt einen Einfluss der Reduktion des „Scrollens“ auf die Befindlichkeit bzw. die Zufriedenheit der BenutzerInnen nicht bestätigt


40

Datenauswertung Chi²:

Gibt es einen Unterschied in der Präferenz in den Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“?

Präferenzbeobachtet erwartet

Nicht Scrollen 26 15Scrollen 4 15

Anmerkung: p<.05


41

Datenauswertung Ergebnisse zur Präferenz:

H0-3: Es gibt keinen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“ nicht bestätigt

H1-3: Es gibt einen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“ bestätigt


42

Datenauswertung Chi²:

Es gibt einen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“ zwischen erfahrenen und weniger erfahrenen BenutzerInnen

Weniger Erfahrung( <15h / Woche)

Mehr Erfahrung ( >15h / Woche)

Scrollen 3 1

Nicht Scrollen 12 14

15 15

Anmerkung: Präferenz * Erfahrung: ns.


43

Datenauswertung Ergebnisse zur Präferenz * Erfahrung:

H0-4: Es gibt keinen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“ zwischen erfahrenen und weniger erfahrenen BenutzerInnen bestätigt

H1-4: Es gibt einen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“ zwischen erfahrenen und weniger erfahrenen BenutzerInnen nicht bestätigt


44

Interpretation der Ergebnisse Unter der Bedingung „Nicht Scrollen“ erzielen die

TeilnehmerInnen deutlich bessere Leistungen als unter der Bedingung „Scrollen“

Es besteht kein Unterschied in der Befindlichkeit unter den Bedingungen „Scrollen“ vs. „Nicht Scrollen“

Das Layout „Nicht Scrollen“ wird generell deutlich gegenüber dem Layout „Scrollen“ präferiert

Hinsichtlich der Präferenz gibt es zwischen erfahrenen und weniger erfahrenen BenutzerInnen keinen Unterschied


45

Diskussion Homogene Stichprobe:

Personen mit eher höherem Bildungsniveau (25 von 30 TeilnehmerInnen haben bereits Matura) und recht viel PC-Erfahrung (Median liegt bei 15 Stunden pro Woche)

Englische Einführung zum CbKST-Kurs wird von fast allen TeilnehmerInnen als zu schwierig bzw. unverständlich wahrgenommen

Vorkenntnisse im Bereich Wissensraumtheorie ist vermutlich ein großer Vorteil

Die TeilnehmerInnen geben an, ein besseres Feedback sei wünschenswert


46



47

Verständnisfragen Wie erkennt man bzw. welche Werte sind

nötig, um bei einem signifikanten T-Test festzustellen zu können, in welche Richtung der Test signifikant ist?

Gab es unter einer der beiden Bedingungen „Scrollen“ bzw. „Nicht Scrollen“ bessere Leistungen im CbKST-Kurs? Wenn ja, unter welcher?


48

Literatur Bernard, M. et.al.(2001). Paging vs. scrolling: examining ways to present search

results. Software usability research laboratory. Department of psychology whichita, kansas

Bortz, J. & Döring, N. (2003). Forschungsmethoden und Evaluation (3. Auflage).Berlin:Springer-Verlag

Bortz, J. (1999). Statistik für Sozialwissenschaftler (5.Auflage).Berlin:Springer-Verlag Kruse, K. The Magic of Learner Motivation: The ARCS Model.

http://www.e-learningguru.com/articles/art3_5.htm Niegemann, H. M. (2004). Modelle des Instruktionsdesigns. Zu Möglichkeiten und

Grenzen didakti-scher Hilfestellungen. In Rinn, U./Meister, D. M. (Hg). Didaktik und Neue Medien. Konzepte und Anwendungen in der Hochschule. Münster: Waxmann, 102-122.

Niegemann, H. M./Hessel, S./Deimann, M./Hochscheid-Mauel, D./Asanski, K./ Kreuzberger, G. (2004). Kompendium E-Learning. Berlin: Springer.

Nielsen, J. Designing Web Usability. Doppelband / J. Nielsen ; 100-123 „Scrollen“ (2001). In das Fremdwörterbuch (Band 5, S.898 Band). Mannheim:

Dudenverlag Zufriedenheit (2002). In das Bedeutungswörterbuch (Band 10, S. 1081). Mannheim:

Dudenverlag.

http://www.e-learningguru.com/articles/art3_5.htm


49

Danke für Eure Aufmerksamkeit!

lv-leiter prof. albert forschungsmethodik iii ws 07/08 08.01.2008 1 psychologische...

Documents