Download - Relevance Assessment Tool
Prof. Dr. Dirk Lewandowski Hochschule für Angewandte Wissenschaften Hamburg [email protected]
Relevance Assessment Tool
Was ist das Relevance Assessment Tool?
• Software, die flexible Plattform bietet, um vielfältige Studien mit und über Websuchmaschinen durchzuführen
• Werkzeug zum Design und zur Durchführung von Studien
Ausgangsfrage für unsere Suchmaschinenuntersuchungen
• Wie gut sind die Treffer von Suchmaschinen? • Bietet Google wirklich die besten Ergebnisse?
• Typisches Testdesign – Auswahl von Suchanfragen/-aufgaben
– Suchanfragen werden an Suchmaschinen geschickt
– Ergebnisse werden erfasst/gespeichert
– Ergebnisse werden gemischt und Herkunft unkenntlich gemacht
– Ergebnisse werden von Juroren bewertet
– Bewertungen werden zusammengeführt und den Suchmaschinen zugeordnet – Auswertung
Unterstützung durch RAT
Test%design%SERP%%
screen%scraping%
Collec5ng%%relevance%%judgments%
Results%%download%
1% 2% 3% 4%
Test%design%SERP%%
screen%scraping%
Collec5ng%%relevance%%judgments%
Results%%download%
1% 2% 3% 4%
Test%design%SERP%%
screen%scraping%
Collec5ng%%relevance%%judgments%
Results%%download%
1% 2% 3% 4%
Test%design%SERP%%
screen%scraping%
Collec5ng%%relevance%%judgments%
Results%%download%
1% 2% 3% 4%
Test%design%SERP%%
screen%scraping%
Collec5ng%%relevance%%judgments%
Results%%download%
1% 2% 3% 4%
Test%design%SERP%%
screen%scraping%
Collec5ng%%relevance%%judgments%
Results%%download%
1% 2% 3% 4%
Test%design%SERP%%
screen%scraping%
Collec5ng%%relevance%%judgments%
Results%%download%
1% 2% 3% 4%
Welche Möglichkeiten bietet das Relevance Assessment Tool?
• Völlig individuelle Skalen und Aufgaben – Administrator kann alles selbst bestimmen, z.B. Sprache, demographische
Abfrage, Suchaufgaben, usw.
• Erhebung verschiedenster Daten • durch die individuelle Erstellung von Skalen und Aufgaben
• Komfortabel nutzbar • da es sich um eine Web-Anwendung handelt, ist keine Installation notwendig
Anwendungsmöglichkeiten des Relevance Assessment Tools (Bsp.)
• Vergleich semantischer Suchdienste mit konventionellen Suchmaschinen • Vergleich verschiedenster Download-Musikdienste im Internet
• Untersuchung automatisch generierter Suchvorschläge verschiedener Suchmaschinen
• Vergleich der Universal-Search Ergebnisse von Google und Bing
• Identifikation von bedenklichen Inhaltsstoffen zur Lebensmittelkontrolle im Internet
• Präsenz von Facebook- und Twitter-Seiten von deutschen Unternehmen in Suchmaschinen.