Philosophische Fakultät – Institut für Kommunikationswissenschaft
Ringvorlesung: Einführung in die Methoden der empirischen
Sozialforschung II
Befragungsmodi: persönliche, telefonische, schriftliche und
Onlinebefragungen
PD Dr. Wolfgang Schweiger
2
Regelwerke & Kuchbücher(Fortsetzung von letzter Woche)
3
Porst (2000): 10 Gebote
1. Einfache, unzweideutige Begriffe verwenden, die von allen Befragten in gleicher Weise verstanden werden!
2. Lange und komplexe Fragen vermeiden!3. Hypothetische Fragen vermeiden!4. Doppelte Stimuli und Verneinungen vermeiden!5. Unterstellungen und suggestive Fragen vermeiden!6. Fragen vermeiden, die auf Informationen abzielen, über die viele
Befragte mutmaßlich nicht verfügen!7. Fragen mit eindeutigem zeitlichen Bezug verwenden!8. Antwortkategorien verwenden, die erschöpfend und disjunkt
(überschneidungsfrei) sind!9. Sicherstellen, dass der Kontext einer Frage sich nicht auf deren
Beantwortung auswirkt!10.Unklare Begriffe definieren!
Porst, R. (2000). Question Wording - Zur Formulierung von Fragebogen-Fragen. ZUMA-How-to-Reihe, Nr. 2.
4
1. Verwende einfache & unzweideutige Begriffe
Grundvoraussetzung für Befragungen: Frage muss von allen Befragten gleich verstanden werden
Einfache, unzweideutige Fragen entwickeln!
Ideal: gemäßigte, formal korrekte Umgangssprache
• Achtung: Einfachheit richtet sich nach dem befragten Personenkreis
o Expertenbefragung vs. repräsentative Befragung
• Konflikt zwischen einfacher und unzweideutiger Formulierung
im Zweifelsfall für einfache Fragen entscheiden
Beispiel
• „Wie hoch ist Ihr eigenes monatliches Nettoeinkommen? Ich meine dabei die Summe, die nach Abzug der Steuern und Sozialversicherungsbeiträge übrigbleibt.“
• „Wie viel verdienen Sie im Monat?“
5
2. Vermeide lange & komplexe Fragen
Formal & konzeptionell korrekte Fragen …
• werden schnell unverständlich
• können Zielperson verwirren
• enthalten häufig Redundanzen oder überflüssige Informationen
Beispiel
• „Wie Sie wissen, sind manche Leute politisch ziemlich aktiv, andere Leute finden dagegen oft keine Zeit oder haben kein Interesse, sich an politischen Dingen aktiv zu beteiligen. Ich lese Ihnen jetzt eine Reihe von Sachen vor, die Leute tun. Bitte sagen Sie mir jedesmal, wie oft Sie persönlich so etwas tun bzw. wie häufig das bei Ihnen vorkommt. (Liste mit den Antwortkategorien oft - manchmal - selten - niemals). Zuerst: wie oft führen Sie eine politische Diskussion?“
• „Wie häufig nehmen Sie an öffentlichen Diskussionen zu politischen Themen teil, oft, manchmal, selten oder nie?“
6
3. Vermeide hypothetische Fragen
Hypothetische Fragen: Befragter muss sich in unrealistische bzw.unbekannte Situationen versetzen
• Problem: Hat sich der Befragte mit der hypothetischen Situation schon einmal auseinandergesetzt?
• Wie nahe oder entfernt ist diese Situation für sie/ihn?
Aussagekraft der Befunde?
Beispiele
• „Einmal angenommen, Sie würden im Lotto eine Million Mark gewinnen - würden Sie dann aufhören zu arbeiten oder würden Sie weiterarbeiten?“
• „Stellen Sie sich einmal vor, Sie wären verheiratet und hätten einen Sohn im Alter von etwa 16 Jahren, der seine Lehre abbrechen möchte, um Fußballprofi zu werden. Würden Sie ihn in diesem Wunsch unterstützen oder würden Sie ihm raten, zuerst seine Ausbildung zu Ende zu bringen?“
7
4. Vermeide doppelte Stimuli & Verneinung
Doppelte Stimuli
• Bei doppelten Stimuli sind zwei unterschiedliche Antworten möglich
• Beispiel: „Hören Sie gerne Musik von Chopin und Wagner?“
Verwirrend und frustrierend für Befragte
Ergebnisse unbrauchbar
Doppelte Verneinung
• Verwirrend für Befragte
• Beispiel: „Es ist nicht gut, wenn die Wähler nicht zur Wahl gehen.“ mit der Antwortskala 1 „trifft überhaupt nicht zu“ bis 7 „trifft voll und ganz zu“
8
5. Vermeide Unterstellungen & suggestive Fragen
Unterstellungen
• Unterstellungen führen dazu, dass derjenige, der die Unterstellung nicht teilt, die Frage nicht beantworten kann
• Beispiel: „Hat der mangelnde Respekt der Schüler vor ihren Lehrern Ihrer Ansicht nach Einfluss auf die tägliche Unterrichtsgestaltung in den Schulen?“
Suggestive Fragen
• Suggestive Fragen legen Befragtem eine Antwort nahe
Befunde wertlos (Ausnahme: Legitimationsforschung)
• Beispiele
o „Finden Sie nicht auch, dass…?“
o „Führende Wissenschaftler sind der Ansicht, …. Halten Sie diese Ansicht für richtig, oder halten Sie diese Ansicht für falsch?“
9
Beispiel - Unterstellung & Suggestivfrage
10
Es wird ja in Dresden darüber diskutiert, am Waldschlöss-chen eine Elb-Brücke für den Straßenverkehr zu bauen. Sind Sie für oder gegen den Bau der Waldschlösschenbrücke?
dafür 58%
dagegen 22%
weiß nicht 14%
Beispiele – Suggestivfrage
Sind Sie dafür, statt der land-schaftszerstörenden, langen Waldschlösschenbrücke mindestens zwei Dresden-typische, kürzere und kosten-günstigere Brücken mit insgesamt höherer Entlas-tungswirkung zu bauen?
dafür 59%
dagegen 18%
weiß nicht 21%
DNN-Barometer
11
6. Vermeide zu schwierige Fragen
Vermeiden von Fragen, die auf Informationen abzielen, über die viele Befragte mutmaßlich nicht verfügen
• Verfügt die anzusprechende Zielgruppe über Informationen, die zur Beantwortung der Frage ausreichend sein könnten?
• Frustrationseffekt, evtl. Fragebogenabbruch
Beispiel
• „Sind in Ihrer Gemeinde bereits Maßnahmen zur Umsetzung der lokalen Agenda 21 getroffen worden?“
12
7. Verwende eindeutige Zeitbezüge
Fragen mit eindeutigen zeitlichen Bezug verwenden
• Bei Sachverhalten oder Meinungen, die sich auf bestimmte Zeiträume beziehen, müssen diese Zeiträume definiert werden
Schlecht
• „In der letzten Zeit ...“
• „Früher“
• „In naher Zukunft ...“
Gut
• „Seit dem ...“
• „In den letzten 12 Monaten ...“
13
8. Verwende erschöpfende & überschneidungsfreie Antwortkategorien
Überschneidungsfreie Antwortkategorien
• Antwortkategorien müssen vom Befragten zweifelsfrei zugeordnet werden können, daher dürfen Überschneidungen nicht möglich sein
• Beispiel: Einkommen 0-500 €, 500-1000 €; 1000-2000 € usw.
Erschöpfende Antwortkategorien
• Abdeckung alle möglichen Antworten durch Antwortvorgaben
• Beispiel: „Was ist Ihr Lieblingssender?“ Antwortvorgaben ARD, ZDF, Arte, 3Sat
• Besser: „Nun folgt eine Liste ausgewählter Fernsehsender. Welchen davon mögen Sie am liebsten?“
14
9. Achte auf den Kontext
Kontext der Frage darf sich nicht auf andere Fragen auswirken
• schwer zu kontrollieren
• Erfahrungen durch Pretest oder im ungünstigsten Falle bei der Datenauswertung
Beispiel
• Frage: „Alles in allem: Was halten Sie ganz allgemein von der CDU?“ -Antwortskala von 1 = „überhaupt nichts“ bis 11 = „sehr viel“
• Vorfrage 1: „Wissen Sie zufällig, welches Amt Richard von Weizsäcker ausübt, das ihn außerhalb des Parteiengeschehens stellt?“ – Mittelwert 3,4
• Vorfrage 2: kein politischer Inhalt – Mittelwert 5,2
• Vorfrage 3: „Wissen Sie zufällig, welcher Partei Richard von Weizsäcker seit mehr als 20 Jahren angehört?“ – Mittelwert 6,5
15
10. Definiere unklare Begriffe
• Unklare & ungebräuchliche Begriffe vermeiden
• Bei Bedarf definieren
• Problem: Forscher verfügt meist über ausgeprägten Wissenshintergrund
Betriebsblindheit
Unnötige Überforderung der Befragten
Beispiele
• „Mediennutzung“
• „Was glauben Sie: In welchem Alter beginnt bei Männern normalerweise die Andropause?“
• „Mit dem Begriff Andropause umschreibt man das Eintreten hormoneller Veränderungen beim Mann, die sich auf das Gefühls- und Sexualleben auswirken können. Vergleichbar ist dieser Prozeß der Menopause bei Frauen, also den sogenannten Wechseljahren. Was glauben Sie....“.
16
Befragungsmodi im Überblick
17
telefonisch
postalisch
online
face-to-face
paper-and-pencil
Persönliches, mündliches Interview
Selbstauszufüllender Fragebogen
Telefonisches Interview
Befragung wird per Post zugeschickt
Befragung per E-Mail oder Web-Formular
Befragungsmodi im Überblick
18
Anwendung im kommerziellen Bereich
ADM Arbeitskreis Deutscher Markt- und Sozialforschungs-institute e.V., http://www.adm-d /
19
Befragungsmodi
telefonisch
postalisch
online
face-to-face
paper-and-pencil
Persönliches, mündliches Interview
20
Face to Face-Befragung (1)
Varianten
• mit Papierfragebogen
• mit CAPI (Computer Assisted Personal Interview)
Vorteile
• längere Interviews möglich
• Beobachtungsmöglichkeit durch Interviewer
• perfekte Kontrolle der Beantwortung & ‘Auffangen’ von Problemen
• Hohe Motivation für Befragten
• Hoher Rücklauf
• Rettung der Daten bei Abbruch
• CAPI: direkte Dateneingabe durch Interviewer
• Mediale Möglichkeiten: Bildblätter, Listen, Kartenspiele, Musik-/Klangbeispiele usw.
21
IfD Allensbach
Frage: “Noch eine Frage zu Ihrer Arbeit. Wie schnell vergewht Ihnen bei Ihrer Arbeit die Zeit? Das ist sicher schwer zu sagen,deshalb habe ich ein Bildblatt mitgebracht.
Optische Unterstützung - Skalen
22
Optische Unterstützung – Bildblätter
23
24
Optische Unterstützung - Markentests
25
Optische Unterstützung – konkrete Szenarien
26
27
28
29
30
Optische Unterstützung: Konzentrationstest
31
Face to Face-Befragung (2)
Nachteile
• soziale Situation des Interviews
o Soziale Erwünschtheit bzw. ‚Isolationsfurcht‘
o starke Interviewereffekte
o Problem Standardisierung
• Hoher personeller Aufwand
• Einsatz qualifizierter Mitarbeiter notwendig
intensive Interviewerschulung
• Hohe Kosten
• Zurückgehende Teilnahmebereitschaft
32
Befragungsmodi im Überblick
telefonisch
postalisch
online
face-to-face
paper-and-pencil Selbstauszufüllender Fragebogen
33
Paper and Pencil-Befragungen (1)
Varianten
• Selbstauszufüllender Fragebogen (Self-Administered Interview)
• CASQ (Computer Assisted Self-Administered Questionnaire)
Vorteile
• Mehrere Personen können gleichzeitig ausfüllen ökonomisch
• Direkte Überwachungsmöglichkeit Reduktion von externen Einflüssen
• Interviewer kann bei Verständnisproblemen helfen
• Einfache optische Möglichkeiten
• Hoher Rücklauf
• Rettung der Daten bei Abbruch
34
Paper and Pencil-Befragungen (2)
Nachteile
• Repräsentative Stichproben kaum möglich
o Seltener Einsatz in der Markt- und Meinungsforschung
o Weit verbreitet in akademischer Grundlagenforschung
• Mittelstarke Interviewer-Effekte
• Zurückblättern und Ausbessern möglich
• Bei gleichzeitigem Ausfüllen der Bögen
o Gemeinsames Ausfüllen, ‘Spicken’
o Zeitdruck für langsame Personen
• Nachträgliche Dateneingabe & -bereinigung
35
Befragungsmodi im Überblick
telefonisch
postalisch
online
face-to-face
paper-and-pencil
Telefonisches Interview
36
Telefonische Befragung (1)
Varianten
• Papierfragebogen
• CATI (Computer Assisted Telephone Interview)
o Einfache Dateneingabe, z.B. Excel, SPSS
o Professionelle CATI-Software
Vorteile
• Preiswert & schnell (24-Stundenumfragen möglich!)
• Umfangreiche Filtermöglichkeiten
• Akustische mediale Möglichkeiten, z.B. Musik vorspielen
• Interview-Kontrolle durch Interviewer
37
Telefonische Befragung (2)
Nachteile
• Grundgesamtheit: Personen mit Telefon
• Festnetz
• neuerdings Handy-Umfragen
• Stichprobenziehung problematisch
o (elektronisches) Telefonbuch
o Random Digit Dialing (RDD): zufallsgenerierte Telefonnummern
• Schwieriger Zugriff auf Zielpersonen
• Falsche Telefonnummern wg. steigender Mobilität: Non-Contacts
• Zielpersonen-Stichprobe innerhalb Haushalt schwierig
• Tageszeiteffekte
38
Telefonische Befragung (3)
Nachteile (Forts.)
• Hohe und weiter zunehmende Verweigerungsrate
• Generell und besonders bei unteren Bildungsschichtenhöhere Bildungsschichten überrepräsentiert
• Interviewereffekte, soziale Erwünschtheit (schwächer als face-to-face)
• Nur kurzes Frageprogramm möglich
• Keine optische Unterstützung
o Marktforschung: keine Präsentation von Produkten, Packungsgrößen & -gestaltungen, Geschmackstests usw.
39
Telefonische Befragung (4)
CATI - elektronischer Fragebogen
• Ausschalten von Fehlerquellen durch ...
o direkte Antwortvalidierung (z.B. falsches ‘Ankreuzen’, fehlende Angaben)
o automatische Filterführung (z.B. Nicht-Beachtung von Filterfragen)
Höhere Datenqualität
Weniger Aufwand bei Datenbereinigung
• Dateneingabe bereits während des Interviews
• Mischen von Itembatterien oder Interview-Abschnitten möglich
Vermeidung Reihenfolgeeffekte (Primacy/Recency-Effekte)
40
Wie finden Sie Marke X?
sympathisch -- -- -- --
glaubwürdig -- -- -- --
empfehlenswert -- -- -- --
interessant -- -- -- --
vorbildlich -- -- -- --
kompetent -- -- -- --
innovativ -- -- -- --
überzeugend -- -- -- --
kundenorientiert -- -- -- --
Beispiel: Mischen von Itembatterien
überzeugend
interessant
glaubwürdig
kundenorientiert
vorbildlich
kompetent
empfehlenswert
sympathisch
innovativ
glaubwürdig
empfehlenswert
interessant
vorbildlich
kompetent
innovativ
überzeugend
kundenorientiert
sympathisch
Originalfassung Rotation Zufall
Trifft gar nicht zu
Trifftvöllig zu
41
Befragungsmodi im Überblick
telefonisch
postalisch
online
face-to-face
paper-and-pencil
Befragung wird per Post zugeschickt
42
Postalische Befragung (1)
Vorteile
• Minimaler personeller Aufwand (kein Interviewer)
• Befragter kann ohne Zeitdruck zu Hause ausfüllen
• Befragung schwierig erreichbarer Zielgruppen möglich (z.B. Politiker, Wissenschaftler)
Nachteile
• Fragebogen muss einfach & kurz sein
• Schlechter Rücklauf
• Kostenfaktoren
• Papier , Druck, Umschläge
• Porto & Rückporto
43
Postalische Befragung (2)
Nachteile (Forts.)
• Keine Überwachungsmöglichkeit: WER füllt den Fragebogen WANN & WIE aus?
• Mögliche Einflussnahme Dritter oder gemeinsames Ausfüllen
• Zuhilfenahme externer Mittel (z.B. bei Wissensfragen)
• Zurückblättern und Ausbessern möglich
44
Postalische Befragung (3)
Erhöhung der Rücklaufquote
• Ausnutzen des Seriositätsbonus (große Sozialforschungsinstitute, Universitäten, bekannte Institutionen)
• Hinweis auf gesellschaftliche oder individuelle Bedeutung der Befragung
• Vorankündigungen per Telefon oder E-Mail
• Nachfassaktionen
• Zusatznutzen für Befragte: Gewinnspiel oder Incentives
o Häufig genügen symbolische Incentives
o Achtung vor ‘lächerlichen’ (zielgruppenfernen) Incentives
• Optimaler monetärer Wert von Incentives?
45
Trussell, N. & Lavrakas, P. (2004). The Influence of Incremental Increases in Token Cash Incen-tives on Mail Survey Response. Is There an Optimal Amount? Public Opinion Quarterly, 68, 349-367, S. 360.
Wirkung von Incentives
46
Dillman: Total Design Method
Fragebogen
• Fragebogen: Broschürenform, Front- & letzte Seite frei, weißes Papier
• Anordnung der Fragen: leichte, interessante Fragen am Anfang
Anschreiben
• offizielles Papier, Erklärung der Nützlichkeit der Studie, persönliche Unterschrift
Versand
• Idealer Versand-Zeitpunkt: Mitte der Woche
• Nachfassaktionen:
• 1 Woche nach Fragebogenversand Postkarte,
• 3 Wochen später nochmalige Zusendung des Fragebogens,
• 7 Wochen später Einschreiben
Dillmann, D. (1978). Mail and Telephone Surveys: The Total Design Method. New York: Wiley
47
Befragungsmodi im Überblick
telefonisch
postalisch
online
face-to-face
paper-and-pencil
Befragung per E-Mail oder Formular im WWW
48
Soziodemografie der Internetnutzer
49
Online-Befragung – E-Mail (1)
Vorteile
• Kostenloser Versand und Rückversand
• Minimaler personeller Aufwand (kein Interviewer)
• Automatisierte Dateneingabe
• extrem große Stichproben möglich
50
Online-Befragung – E-Mail (2)
Nachteile
Grundgesamtheit der Internetnutzer ist unbekannt
Voraussetzung: Computer & Internetzugang
Stichprobenziehung problematisch
Geringer Rücklauf
Darstellungsprobleme bei unterschiedlichen E-Mail-Clients
Fragebogen muss kurz und einfach sein
keine Überwachungsmöglichkeit
Mögliche doppelte Teilnahme durch mehrfache E-Mailadressen
Datenverlust bei Abbruch
51
Online-Befragung – Web-Formular (1)
52
Online-Befragung – Web-Formular (2)
Vorteile
• Kostenloser Versand und Rückversand
• Minimaler personeller Aufwand (kein Interviewer)
Umfassende multimediale Präsentationsmöglichkeiten (Klangbeispiele, Bilder, Filmsequenzen usw.)
Optimale Filtermöglichkeiten
Extrem große Stichproben möglich
Automatische Datenvalidierung & -eingabe
Ideal als Website-Besucherbefragungen: Publikumsfeedback ohne Medienwechsel
53
Online-Befragung – Web-Formular (3)
Nachteile
Grundgesamtheit & Selbstselektion (Selbstrekrutierung)
Darstellungsprobleme bei unterschiedlichen Web-Browsern
keine Überwachungsmöglichkeiten
Datenverlust bei Abbruch
‘Überfischung’ im Web geringe Teilnahmebereitschaft
Schneller Abbruch Fragebogen muss extrem kurz und einfach sein
54
55
Ergebnisse unterschiedlicher Befragungsmodi
TV ist…
Schweiger, W. (1999). Medienglaubwürdigkeit - Nutzungserfahrung oder Medienimage? Eine Befragung zur Glaubwürdigkeit des World Wide Web im Vergleich mit anderen Medien. In Rössler, P. & Wirth, W. (Hrsg.), Glaubwürdigkeit im Internet (S. 89-110). München.
56
Fazit zu Befragungsmodi
Jeder Befragungsmodus hat Stärken & Schwächen.
Entscheidung für einen Modus je nach
• Forschungsgebiet,
• Verwertungszusammenhang &
• Budget
57
Fazit zur Befragung (1)
Befragungen sind ein empfindliches & fehleranfälliges Instrument zur Rekonstruktion sozialer Realität
Umsichtige Interpretation von Befragungsergebnissen
• Interner Plausibilitäts-Check: Ergebnisse schlüssig und widerspruchsfrei?
• Externer Plausibilitäts-Check: Vergleich mit Ergebnissen anderer Studien
• Bei der Auswertung: Herkunft der Daten nicht vergessen!!!
58
Fazit zur Befragung (2)
Befragung =
• das einzige Instrument zur
• systematischen Erhebung
• der Aussagen von Individuen
• über Kenntnisse, Erfahrungen, Verhaltensweisen, Einstellungen & Emotionen
• in der Gesamtbevölkerung oder in Teilgruppen.
59
Surftipps
GESIS – Leibniz-Institut für Sozialwissenschaften
• http://www.gesis.org
ADM – Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute e.V.
• http://www.adm-ev.de
60
Literaturtipps
• Atteslander, P. (2008). Methoden der empirischen Sozialforschung. Berlin: Erich Schmidt.
• Bortz, J. & Döring, N. (2006). Forschungsmethoden und Evaluation für Sozialwissenschaftler. Berlin: Springer.
• Brosius, H.B., Koschel, F. & Haas, A. (2008). Methoden der empirischen Kommunikationsforschung. Wiesbaden: VS.
• Dillman, D.A. (2006). Mail and Internet Surveys: The Tailored Design Method — 2007 Update with New Internet, Visual, and Mixed-Mode Guide. New York u.a.: Wiley.
• Häder, M. (2006). Empirische Sozialforschung: Eine Einführung. Wiesbaden: VS.
• Porst, R. (2000). Question Wording - Zur Formulierung von Fragebogen-Fragen. ZUMA-How-to-Reihe, Nr. 2. Online unter: http://www.gesis.org/Publikationen/Berichte/ZUMA_How_to/.
• Schnell, R., Hill, P. & Esser, E. (2008). Methoden der empirischen Sozialforschung. München: Oldenbourg.