suchmaschinenforschung an der haw hamburg
TRANSCRIPT
![Page 1: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/1.jpg)
Suchmaschinenforschung an der HAW Hamburg Prof. Dr. Dirk Lewandowski Hochschule für Angewandte Wissenschaften Hamburg, Department Information [email protected]
![Page 2: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/2.jpg)
1 | Dirk Lewandowski
Was bekommen Nutzer auf den Suchergebnisseiten zu sehen?
Wie gut sind die Suchergebnisse?
Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint?
Fazit
Agenda
Einleitung: Forschungsbereiche und Methoden
![Page 3: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/3.jpg)
2 | Dirk Lewandowski
Was bekommen Nutzer auf den Suchergebnisseiten zu sehen?
Wie gut sind die Suchergebnisse?
Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint?
Fazit
Agenda
Einleitung: Forschungsbereiche und Methoden
![Page 4: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/4.jpg)
3 | Dirk Lewandowski
Suchmaschinenmarkt: Deutschland 2011
(Webhits, 2011)
![Page 5: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/5.jpg)
4 | Dirk Lewandowski
Die Qualität von Suchmaschinen kann nur durch eine Kombination unterschiedlicher Faktoren gemessen werden.
• Qualität des Index – Größe des Datenbestands, Abdeckung des Web – Abdeckung bestimmter Bereiche (Sprachräume, Länder) – Überschneidungen der Indices – Aktualität des Datenbestands
• Qualität der Suchresultate – Retrievaleffektivität – Zuverlässigkeit der Suchergebnisse – Zufriedenheit der Nutzer – Überschneidungen der (Top-)Ergebnisse
• Qualität der Suchfunktionen
• Nutzerfreundlichkeit + Benutzerführung – Aufbau der Trefferseiten
(Lewandowski & Höchstötter 2007; ergänzt)
![Page 6: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/6.jpg)
5 |
Methoden
Search
Relevanztest
Online-Umfrage
Physiologische Untersuchung
Logfile-Analyse Heuristische Evaluation
Eye-Tracking
Usability-Test
![Page 7: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/7.jpg)
6 | Dirk Lewandowski
Aktuelle Projekte im Bereich Suche
• Forschungsprojekte • Qualität von Web-Suchmaschinen (laufend bis 2011) • Forschungsprojekt „Wissenschaftssuchmaschinen“ (seit WS 2008/09) • Query Understanding (seit 2010) • Search Experience (ab 2011)
Wir wollen den Suchprozess sowohl aus system- als auch aus nutzerzentrierter Perspektive verstehen und aus diesem Verständnis Empfehlungen für die Verbesserung von Suchsystemen ableiten.
![Page 8: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/8.jpg)
7 | Dirk Lewandowski
Aktuelle Projekte im Bereich Suche
• Lehrprojekte – Verbesserung der Musiksuche (WS2010/11; Musicload) – Lokale Suchmaschinen: Eye-Tracking und Usability (WS 2009/10,
Projektpartner T-Online) – Einbindung von Frage-Antwort-Diensten in die Web-Suche (WS2007/08,
Projektpartner Lycos Europe)
• Abgeschlossene Entwicklungsprojekte (mit MA-Studierenden) • Suchanfragenklassifikation (in Zusammenarbeit mit T-Online) • Produktsuche (mit Otto) • Universal-Search-Konzept für die T-Online-Portalsuche
![Page 9: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/9.jpg)
8 | Dirk Lewandowski
Abschlussarbeiten (Auswahl)
• Vergleichende Analyse und szenariobasierte Usability Tests zur Evaluation der Gebrauchstauglichkeit neu gestarteter Suchmaschinen
• Vergleich der Eyetracking-Systeme von Tobii und Interactive Minds unter besonderer Betrachtung der Auswertung bei dynamischen Webseiten-Elementen
• Empirische Analyse von emotionalen Reaktionen im Prozess der Informationssuche im Web
• Die Qualität von Retrievalergebnissen im Vergleich – Google Book Search und der OPAC einer wissenschaftlichen Bibliothek
• Zur Struktur der Trefferbeschreibungen in Web-Suchmaschinen und deren Beurteilung durch den Nutzer
• Optimierung der Suche von Nachrichten-Inhalten am Beispiel von Stern.de • Untersuchung zum Nutzerverhalten auf der Website SPIEGEL Wissen
![Page 10: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/10.jpg)
9 | Dirk Lewandowski
Was bekommen Nutzer auf den Suchergebnisseiten zu sehen?
Wie gut sind die Suchergebnisse?
Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint?
Fazit
Agenda
Einleitung: Forschungsbereiche und Methoden
![Page 11: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/11.jpg)
10 | Dirk Lewandowski
x
(Eyetracking-Studie HAW-Hamburg 2010)
![Page 12: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/12.jpg)
11 | Dirk Lewandowski
x
![Page 13: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/13.jpg)
12 | Dirk Lewandowski
x
![Page 14: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/14.jpg)
13 |
Eye-Tracking
• x
![Page 15: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/15.jpg)
14 |
x
![Page 16: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/16.jpg)
15 |
x
Anzeigen
Nachrichten
Bilder
Videos
Blogbeiträge
![Page 17: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/17.jpg)
16 |
Empirische Untersuchung zur Präsentation der Treffer auf den Ergebnisseiten
• Methode • Suchanfragen-Stichprobe zufällig ausgewählt aus
• Top-Suchanfragen (pop) • Seltenen Suchanfragen (rare)
• Stichprobe von 2x 1099 Suchanfragen
• Automatische Anfragen an die Suchmaschinen Ask, Bing, Google, Yahoo.
• Extraktion der auf den Ergebnisseiten präsentierten Elementen („screen scraping“).
(Lewandowski & Höchstötter; in Arbeit)
![Page 18: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/18.jpg)
17 |
Verteilung der Ergebnistypen innerhalb der ersten Ergebnisseiten
(Höchstötter und Lewandowski; in Arbeit)
![Page 19: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/19.jpg)
18 |
Aus welchen Quellen kommen die Ergebnisse?
Beispiel Google
![Page 20: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/20.jpg)
19 |
Charakteristika der Treffermengen
• Wie häufig tauchen Wikipedia-Treffer* in den Top10 auf?
(Lewandowski & Höchstötter; in Arbeit)
Ask Bing Google Yahoo Populäre Suchanfragen
12,8% 91,5% 58,3% 46,4%
Rare Suchanfragen
12,6% 43,0% 22,4% 22,5%
* Nur deutsche Wikipedia-Treffer
![Page 21: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/21.jpg)
20 |
Welcher Anteil der Ergebnisse (Top 10) hat einen kommerziellen Hintergrund?
![Page 22: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/22.jpg)
21 | Dirk Lewandowski
Was bekommen Nutzer auf den Suchergebnisseiten zu sehen?
Wie gut sind die Suchergebnisse?
Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint?
Fazit
Agenda
Einleitung: Forschungsbereiche und Methoden
![Page 23: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/23.jpg)
22 |
Was soll eigentlich gemessen werden?
• Relevanz der Ergebnisse • Durchschnittliche Bewertung der Suchergebnisse (Systemseite) • Bewertung jedes einzelnen gefundenen Treffers hinsichtlich seiner Eignung zur
Beantwortung der Suchanfrage. • Ergebnisse mehrerer Suchmaschinen können gemischt werden; Herkunft der
Treffer kann verschleiert werden.
• Zufriedenheit der Nutzer mit einem Suchprozess • Durchschnittliche Bewertung der Suchprozesse (Nutzerseite) • Bewertung jeder einzelnen Suchsession. • Jeder Nutzer kann nur eine Suchmaschine bewerten; Kenntnis der Suchmaschine.
• Wissenszuwachs • Durchschnittliche Bewertung dessen, „was hängen geblieben ist“ (Nutzerseite) • Bewertung des Wissenszuwachses nach einer Suchsession. • Jeder Nutzer kann nur eine Suchmaschine bewerten; Kenntnis der Suchmaschine.
![Page 24: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/24.jpg)
23 |
Entscheidungen beim Design klassischer Retrievaltests
1. Welche Suchmaschine(n)?
2. Wie viele Suchanfragen? 3. Welche Suchanfragen? 4. Wie viele Ergebnisse pro Suchanfrage?
5. Wie viele Juroren? 6. Welche Juroren(gruppen)? 7. Wie viele Juroren je Suchanfrage?
8. Wie sollen Dokumente bewertet werden (Skalen)? 9. Sollen Dokumentbeschreibungen berücksichtigt werden?
10. Mit welchen Kennzahlen soll gemessen werden?
![Page 25: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/25.jpg)
24 | Dirk Lewandowski
Precision-Recall-Graph (binär)
![Page 26: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/26.jpg)
25 |
Welches Nutzerverhalten kann in Retrievaltests abgebildet werden?
• Query-response paradigm • Annahme: Nutzer gibt Suchanfrage ein, prüft dann das Ergebnis. • Statisch; „systemorientiert“ „Klassische“ Retrievaltests (Abfrage der „objektiven“ Trefferqualität)
• Interaktives Retrieval • Annahme:
• Recherche findet in mehreren Schritten statt. • Bei der Recherche handelt es sich um einen „Dialog“ zwischen Nutzer und
System. • Dynamisch, „nutzerorientiert“ Nutzerstudien (Abfrage der Zufriedenheit der Nutzer)
![Page 27: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/27.jpg)
26 |
Tools: RAT & Search Logger
• RAT (Relevance Assessment Tool) • Werkzeug zum Design und zur Durchführung klassischer Retrievaltests • Baukastenprinzip beim Testdesign • Automatische Abfrage der Treffer der bekannten Suchmaschinen
• Search Logger (Entwicklung der Uni Tartu, Estland) • Werkzeug zum Protokollieren von Browserinteraktionen • Task-basiert
• Ziel 2011: Zusammenführung der beiden Tools, um interaktives IR in Suchmaschinen evaluieren zu können.
![Page 28: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/28.jpg)
27 | Dirk Lewandowski
Was bekommen Nutzer auf den Suchergebnisseiten zu sehen?
Wie gut sind die Suchergebnisse?
Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint?
Fazit
Agenda
Einleitung: Forschungsbereiche und Methoden
![Page 29: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/29.jpg)
28 |
Drei Anfragetypen
Anfragetypen nach Broder (2002)
• Informational (informationsorientiert) – Nutzer möchte sich zu einem Thema informieren. – Ziel sind mehrere Dokumente.
• Navigational (navigationsorientiert) – Ziel ist es, eine bestimmte Seite (wieder) zu finden. – Typisch: Suche nach Homepage („Daimler Chrysler“). – Ziel ist i.d.R. ein Dokument.
• Transactional (transaktionsorientiert) – Ziel ist das Auffinden einer Website, auf der dann eine Transaktion stattfinden
soll. – Beispiele für Transaktionen: Kauf eines Produkts, Download einer Datei.
![Page 30: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/30.jpg)
29 |
Navigationsorientierte Suchanfragen anhand von Klicks bestimmen
![Page 31: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/31.jpg)
30 |
Transaktionsorientierte Suchanfragen anhand der Klicks bestimmen
![Page 32: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/32.jpg)
31 | Dirk Lewandowski
Hätten Sie‘s verstanden?
• bbl • vatikan • stockbrot • motonetix • nedcom • fußball • drehscheibe • frauentausch • seelenfarben • kachelmannwetter • osterei • wie ich • wow
![Page 33: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/33.jpg)
32 |
Suchanfragen im Kontext
![Page 34: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/34.jpg)
33 | Dirk Lewandowski
Was bekommen Nutzer auf den Suchergebnisseiten zu sehen?
Wie gut sind die Suchergebnisse?
Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint?
Fazit
Agenda
Einleitung: Forschungsbereiche und Methoden
![Page 35: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/35.jpg)
34 |
Fazit
• Im Themenbereich Suchmaschinen gibt es vielfältige Fragen.
• Nur die Informationswissenschaft bietet • das nötige breite Methodenspektrum • Mischung aus technischem + sozial- und gesellschaftswissenschaftlichem Know-
How
• Und zuletzt: Die Berufsaussichten in diesem Themenbereich sind sehr gut!
![Page 36: Suchmaschinenforschung an der HAW Hamburg](https://reader034.vdokument.com/reader034/viewer/2022051516/559ea0881a28abcd048b487d/html5/thumbnails/36.jpg)
Vielen Dank für Ihre Aufmerksamkeit.
www.bui.haw-hamburg.de/lewandowski.html
Aktuelles Buch: Handbuch Internet-Suchmaschinen 2
E-Mail: [email protected]