wie gut sind google und co.?
DESCRIPTION
TRANSCRIPT
![Page 1: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/1.jpg)
Wie gut sind eigentlich Google und Co.? Prof. Dr. Dirk Lewandowski Hochschule für Angewandte Wissenschaften Hamburg, Department Information [email protected]
Köthen, 24. Juni 2011
![Page 2: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/2.jpg)
1 |
Kurzvorstellung
• Prof. Dr. Dirk Lewandowski
• Professor für Information Research & Information Retrieval an der Hochschule für Angewandte Wissenschaften Hamburg (HAW)
• Forschung vor allem zur Qualität von Suchmaschinen, Nutzerverhalten, Query Understanding
![Page 3: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/3.jpg)
2 | Dirk Lewandowski
Die Websuche hat sich verändert...
Wie kann man die Suchanfragen der Nutzer verstehen?
Wie gut sind die Ergebnisse der Suchmaschinen?
Fazit
Agenda
Suchmaschinenforschung an der HAW
![Page 4: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/4.jpg)
3 | Dirk Lewandowski
Die Websuche hat sich verändert...
Wie kann man die Suchanfragen der Nutzer verstehen?
Wie gut sind die Ergebnisse der Suchmaschinen?
Fazit
Agenda
Suchmaschinenforschung an der HAW
![Page 5: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/5.jpg)
4 | Dirk Lewandowski
Mission Statement
Wir wollen den Suchprozess sowohl aus system- als auch aus nutzerzentrierter Perspektive verstehen und aus diesem Verständnis Empfehlungen für die Verbesserung von Suchsystemen ableiten.
![Page 6: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/6.jpg)
5 | Dirk Lewandowski
Aktuelle Projekte im Bereich Suche
• Forschungsprojekte • Qualität von Web-Suchmaschinen (laufend bis 2011) • Forschungsprojekt „Wissenschaftssuchmaschinen“ (seit WS 2008/09) • Query Understanding (seit 2010) • Search Experience (ab 2011)
![Page 7: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/7.jpg)
6 |
Methoden
Search
Relevanztest
Online-Umfrage
Physiologische Untersuchung
Logfile-Analyse Heuristische Evaluation
Eye-Tracking
Usability-Test
![Page 8: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/8.jpg)
7 | Dirk Lewandowski
Aktuelle Projekte (mit Studierenden) im Bereich Suche
• Lehrprojekte – Verbesserung der Musiksuche (WS2010/11; Projektpartner Musicload) – Lokale Suchmaschinen: Eye-Tracking und Usability (WS 2009/10,
Projektpartner Deutsche Telekom) – Einbindung von Frage-Antwort-Diensten in die Web-Suche (WS2007/08,
Projektpartner Lycos Europe)
• Abgeschlossene Entwicklungsprojekte (mit MA-Studierenden) • Suchanfragenklassifikation (in Zusammenarbeit mit T-Online) • Produktsuche (mit Otto) • Universal-Search-Konzept für die T-Online-Portalsuche
![Page 9: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/9.jpg)
8 | Dirk Lewandowski
Die Websuche hat sich verändert...
Wie kann man die Suchanfragen der Nutzer verstehen?
Wie gut sind die Ergebnisse der Suchmaschinen?
Fazit
Agenda
Suchmaschinenforschung an der HAW
![Page 10: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/10.jpg)
9 |
Web search: „Always different, always the same“
http://web.archive.org/web/19961023234631/http://altavista.digital.com/
AltaVista 1996
![Page 11: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/11.jpg)
10 |
• x
![Page 12: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/12.jpg)
11 |
x
![Page 13: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/13.jpg)
12 |
x
Anzeigen
Nachrichten
Bilder
Videos
Blogbeiträge
![Page 14: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/14.jpg)
13 | Dirk Lewandowski
Übertragbarkeit der Universal Search – Beispiel T-Online Portalsuche
![Page 15: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/15.jpg)
14 |
Ergebnisselektion
• Ergebnisselektion abhängig von • Position des Treffers • Vorkommen des Treffers im „sichtbaren Bereich“ • Darstellung/Hervorhebung des Treffers, Trefferbeschreibung • Einblendung in Vorschlägen während der Eingabe
![Page 16: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/16.jpg)
15 | Dirk Lewandowski
x
(Eyetracking-Studie HAW-Hamburg 2010)
![Page 17: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/17.jpg)
16 | Dirk Lewandowski
x
![Page 18: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/18.jpg)
17 | Dirk Lewandowski
x
![Page 19: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/19.jpg)
18 |
Eye-Tracking
• x
![Page 20: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/20.jpg)
19 | Dirk Lewandowski
Fixationen bei kartenbasierter Darstellung – Beispiel T-Online
![Page 21: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/21.jpg)
20 |
x
![Page 22: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/22.jpg)
21 | Dirk Lewandowski
Die Websuche hat sich verändert...
Wie kann man die Suchanfragen der Nutzer verstehen?
Wie gut sind die Ergebnisse der Suchmaschinen?
Fazit
Agenda
Suchmaschinenforschung an der HAW
![Page 23: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/23.jpg)
Hätten Sie‘s verstanden?
• vatikan • stockbrot • bmw • fußball • drehscheibe
• frauentausch • seelenfarben • berliner bank • osterei • wgt
22 | Dirk Lewandowski
![Page 24: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/24.jpg)
23 | Dirk Lewandowski
• x
![Page 25: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/25.jpg)
24 | Dirk Lewandowski
• x
![Page 26: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/26.jpg)
25 | Dirk Lewandowski
• x
![Page 27: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/27.jpg)
26 | Dirk Lewandowski
Die Suchintention kann sich verändern
![Page 28: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/28.jpg)
27 | Dirk Lewandowski
Die Suchintention kann sich verändern
![Page 29: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/29.jpg)
28 | Dirk Lewandowski
Was kann man aus einer Suchanfrage herauslesen?
• Genre (Bsp. Nachrichten) • Thema (grob) • Intention (informationsorientiert, navigationsorientiert, transaktionsorientiert) • Ziel (Aktion oder Ressource) • Spezifität (Bsp. „Mindestlohn“) • Bandbreite/Mehrdeutigkeit (Ergebnisse ausdifferenzieren) • Autoritätsbezug • Ortsbezug • Zeitbezug (explizit; implizit; aus dem Suchanfrage-Volumen)
(nach Calderon-Benavides et al. 2010)
![Page 30: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/30.jpg)
29 |
Suchanfragen im Kontext
![Page 31: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/31.jpg)
30 |
Drei Anfragetypen
Anfragetypen nach Broder (2002)
• Informational (informationsorientiert) – Nutzer möchte sich zu einem Thema informieren. – Ziel sind mehrere Dokumente.
• Navigational (navigationsorientiert) – Ziel ist es, eine bestimmte Seite (wieder) zu finden. – Typisch: Suche nach Homepage („Daimler Chrysler“). – Ziel ist i.d.R. ein Dokument.
• Transactional (transaktionsorientiert) – Ziel ist das Auffinden einer Website, auf der dann eine Transaktion stattfinden
soll. – Beispiele für Transaktionen: Kauf eines Produkts, Download einer Datei.
![Page 32: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/32.jpg)
31 |
Anwendungsfälle: Konkreter vs. problemorientierter Informationsbedarf
Anwendungsfall Konkret Problemorientiert
Websuche Ebay-Homepage Informationen über die neue Sherlock-Holmes-Serie der BBC
Bibliothekskatalog Ist das Buch „Information Retrieval“ von Stock in der HAW-Bibliothek vorhanden?
Welche Bücher gibt es zum Thema kollaborative Suche?
Online-Dating Welche Hobbies hat Natalia73?
Wer passt zu mir?
Produktsuche Was kostet der Roomba 581?
Welcher Staubsaugroboter ist der beste?
![Page 33: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/33.jpg)
32 |
Navigationsorientierte Suchanfragen anhand von Klicks bestimmen
![Page 34: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/34.jpg)
33 |
Transaktionsorientierte Suchanfragen anhand der Klicks bestimmen
![Page 35: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/35.jpg)
34 | Dirk Lewandowski
Einsatzmöglichkeiten von Query Understanding
• Anfrageerweiterung • Generierung von Suchvorschlägen • Steuerung der organischen Ergebnisse • Steuerung der Werbung • Steuerung der Universal Search
![Page 36: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/36.jpg)
35 | Dirk Lewandowski
Die Websuche hat sich verändert...
Wie kann man die Suchanfragen der Nutzer verstehen?
Wie gut sind die Ergebnisse der Suchmaschinen?
Fazit
Agenda
Suchmaschinenforschung an der HAW
![Page 37: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/37.jpg)
36 |
Kernkomponenten einer Suchmaschine
(Risvik & Michelsen 2002)
![Page 38: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/38.jpg)
37 | Dirk Lewandowski
Die Qualität von Suchmaschinen kann nur durch eine Kombination unterschiedlicher Faktoren gemessen werden.
• Qualität des Index – Größe des Datenbestands, Abdeckung des Web – Abdeckung bestimmter Bereiche (Sprachräume, Länder) – Überschneidungen der Indices – Aktualität des Datenbestands
• Qualität der Suchresultate – Retrievaleffektivität – Zuverlässigkeit der Suchergebnisse – Zufriedenheit der Nutzer – Überschneidungen der (Top-)Ergebnisse
• Qualität der Suchfunktionen
• Nutzerfreundlichkeit + Benutzerführung – Aufbau der Trefferseiten
(Lewandowski & Höchstötter 2007; ergänzt)
![Page 39: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/39.jpg)
38 | Dirk Lewandowski
Die Qualität von Suchmaschinen kann nur durch eine Kombination unterschiedlicher Faktoren gemessen werden.
• Qualität des Index – Größe des Datenbestands, Abdeckung des Web – Abdeckung bestimmter Bereiche (Sprachräume, Länder) – Überschneidungen der Indices – Aktualität des Datenbestands
• Qualität der Suchresultate – Retrievaleffektivität – Zuverlässigkeit der Suchergebnisse – Zufriedenheit der Nutzer – Überschneidungen der (Top-)Ergebnisse
• Qualität der Suchfunktionen
• Nutzerfreundlichkeit + Benutzerführung – Aufbau der Trefferseiten
(Lewandowski & Höchstötter 2007; ergänzt)
![Page 40: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/40.jpg)
39 |
Entscheidungen beim Design klassischer Retrievaltests
1. Welche Suchmaschine(n)?
2. Wie viele Suchanfragen? 3. Welche Suchanfragen? 4. Wie viele Ergebnisse pro Suchanfrage?
5. Wie viele Juroren? 6. Welche Juroren(gruppen)? 7. Wie viele Juroren je Suchanfrage?
8. Wie sollen Dokumente bewertet werden (Skalen)? 9. Sollen Dokumentbeschreibungen berücksichtigt werden?
10. Mit welchen Kennzahlen soll gemessen werden?
![Page 41: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/41.jpg)
40 | Dirk Lewandowski
Precision-Recall-Graph (binär) – Beispiel Websuche
![Page 42: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/42.jpg)
41 |
Welches Nutzerverhalten kann in Retrievaltests abgebildet werden?
• Query-response paradigm • Annahme: Nutzer gibt Suchanfrage ein, prüft dann das Ergebnis. • Statisch; „systemorientiert“ „Klassische“ Retrievaltests (Abfrage der „objektiven“ Trefferqualität)
• Interaktives Retrieval • Annahme:
• Recherche findet in mehreren Schritten statt. • Bei der Recherche handelt es sich um einen „Dialog“ zwischen Nutzer und
System. • Dynamisch, „nutzerorientiert“ Nutzerstudien (Abfrage der Zufriedenheit der Nutzer)
![Page 43: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/43.jpg)
42 | Dirk Lewandowski
Trefferqualität in der Nutzerstudie
„Wo ist denn nun der Jungferstieg?“
Jungfernstieg
![Page 44: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/44.jpg)
43 |
Tools: RAT & Search Logger
• RAT (Relevance Assessment Tool) • Werkzeug zum Design und zur Durchführung klassischer Retrievaltests • Baukastenprinzip beim Testdesign • Automatische Abfrage der Treffer der bekannten Suchmaschinen
• Search Logger (Entwicklung der Uni Tartu, Estland) • Werkzeug zum Protokollieren von Browserinteraktionen • Task-basiert
• Ziel 2011: Zusammenführung der beiden Tools, um interaktives IR in Suchmaschinen evaluieren zu können.
![Page 45: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/45.jpg)
44 | Dirk Lewandowski
Die Websuche hat sich verändert...
Wie kann man die Suchanfragen der Nutzer verstehen?
Wie gut sind die Ergebnisse der Suchmaschinen?
Fazit
Agenda
Suchmaschinenforschung an der HAW
![Page 46: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/46.jpg)
45 |
Fazit
• Im Bereich Suche sind noch viele Fragen offen...
• Was die großen Suchmaschinen „gut“ macht, ist vor allem die Antizipation der Nutzerbedürfnisse.
• Es besteht eine starke Übertragbarkeit der Erkenntnisse aus der Websuche auf andere Suchsysteme.
• Während Einzelbereiche der Nutzer-/Suchmaschineninteraktion gut verstanden werden, fehlt ein Gesamtverständnis des Suchprozesses.
• Für viele Fragestellungen sind Kooperationen zwischen Forschung und Industrie unerlässlich.
![Page 47: Wie gut sind Google und Co.?](https://reader034.vdokument.com/reader034/viewer/2022051819/54c44b174a79598c398b45ff/html5/thumbnails/47.jpg)
Vielen Dank für Ihre Aufmerksamkeit.
www.bui.haw-hamburg.de/lewandowski.html
Aktuelles Buch: Handbuch Internet-Suchmaschinen 2
E-Mail: [email protected]