Teile dieser Arbeit werden vom Bundesministerium für Wirtschaft und Technologie gefördert(Förderkennzeichen: 01MQ09031).
Semantische Suche im audiovisuellen Kulturerbe– Das Projekt mediaglobeJohannes Hercher
Hasso-Plattner-Institut für Sofwaresystemtechnik GmbH
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14
Forschungsgruppe:,Semantic Technologies & Multimedia Retrieval‘
■Themen in der Forschungsgruppe, u.a.:
□ Semantic Web Technologies
□Ontology Engineering
□Multimedia Analysis & Retrieval
■Projekte
2
Macht audiovisuelles Kulturerbe erlebbar!
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14
Übersicht
■Das Projekt mediaglobe
■Herausforderungen bei der Filmrecherche
■Metadatengenerierung & Vernetzung
■ Semantische Suche (Demo)
3
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 144
Das Projekt mediaglobe
{Unterstützung von Filmarchiven, bei:
Digitalisierung
Erschließung und
Verwertung
von audiovisuellen Materialien.
Projektlaufzeit:2009 – 2012
Aufgaben (HPI)
Medienanalyse & Metadatengenerierungsemantische Analyse & semantische Suche
innovative Benutzerschnittstellen
HistorikerFakten
Zitate
Fundstellen
Produzenten
Rechte
Verwertung
Qualität
Privat-personen
RückblickEmotionen
Ereignisse
Autoren Kontexte
Ideen
Perspektive
~1.000 h Dokumentarfilm (defa Spektrum GmbH)nicht fiktionale Filme zur deutsch-deutschen Geschichte (ab 1960)
Zeitzeugen, TV-Produktionen, Amateuraufnahmen, …
Die Ziele
■ Punktgenauer Zugriff auf Medieninhalte
■ Ereignisse,
■ Orte,
■ Personen
■ Genaue und vollständige Suchergebnisse
■ high precision,
■ high recall
■ Intuitive Benutzeroberfläche
■ interaktiv,
■ benutzerfreundlich
Die Situation
■ Filme online nicht verfügbar
■ verteilte Bestände
■ Sichtung vor Ort erforderlich
■ geringe Erschließung
■ keine Cross-Recherche
■ nicht intuitiv nutzbar
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 147
Lösung: Punktgenaue Semantische Suche
Metadaten
vernetzenNetz von
Beziehungenz.B.: bibliographische Daten,Gekoordinaten, Abstractsencyclopaedic data, ..
Medienanalyse
&
Metadaten-
generierung Text
MedienStrukturen
Kohl
Mai
Halle
Einheit
Adenauer Metadaten
Entitäten/
Ressourcen
Semantische
Analyse &
Named-Entity-
Recognition
Bonn
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14
Bild: Defa Spektrum GmbH
Erster Mai;1.5.1966; 20 Jahre SED
Ulbricht, Walter (PND)
Ulbricht, Lotte (PND) Honecker, Erich (PND)
Berlin; Marx-Engels-Platz
Nelke (SWD)
Film 1 : Walter Markov Interview (1989)
Bild: Defa Spektrum GmbH
Wendezeit; 17.12.1989
Walter UlbrichtWalter Markov
Berlin;Marx-Engels-Platz
RevolutionPrager Frühling
8
Lösung: Information → Wissen
Film 2: Berlin heute (1966)
dbpedia:wikiPageRedirects
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14
Persistent S
torag
e (Med
ia Asset M
anagem
ent)
UIMA - Unstructured Information Management Architecture
Med
ia Transcod
ing
Video OCR
Audio Analyse
Gesichtsdetektion
Schnitterkennung
Semantic Analysis
Named Entity Recognition
Disambiguierung
SemantischeSuche
DigitalisierteFilme
kollaborative Annotation
Genre Erkennung
9
Digitalisierung → Semantische Suche
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14
Medienanalyse Schnitterkennung
■ Strukturanalyse
□ harte Schnitte,
□weiche Schnitte
■Analytisch z.B. durch:
□Differenzbildanalyse
□ Analyse von Helligkeits- und Farbdifferenzen
□ Analyse von Bewegungsvektoren
■Maschnielles Lernen, z.B. mit:
□ K-Nearest Neighbor
□ Random Forrest
□ Support Vector Machines
10
Analyse von Histogramm-Differenzen
Analyse von Bewegungsvektoren
■ Fehlerquellen
□ Bildfehler,
□ Kamerabewegung< VS >
ähnliche Merkmale !
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14
Medienanalyse Texterkennung
■Texterkennung im Video, Herausforderungen:
□ Text in großen Bilddatenbeständen identifizieren
□ geringe Auflösung
□ unterschiedliche Textgrößen und Schriften
□ bei Szenentext:
□ schlechte Lichtverhältnisse□ perspektivische Verzerrung
□ bei Overlay-Text
□ heterogener Hintergrund
■Aufgaben (vor der Texterkennung)
» Bildverbesserung» Textseparierung
11
Prof. Rudolf AgstenLDPD
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14
Semantische Analyse
12
Truman
Truman Capote
Harry S. Truman
Truman, Minnesota
The Truman Show ?
?
?
?Kontext
PotsdamEisenhower
InaugurationAmtseinführung
Named Entity Recognition durch semantische Graphenanalyse
Amtseinführung
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14
Semantische Suche
Generierung von Metadaten
13
Analyse
Demonstration
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 1414
KontaktJohannes HercherHasso-Plattner-Institut für SoftwaresystemtechnikUniversität PotsdamProf.-Dr.-Helmert-Str. 2-3D-14482 Potsdam
Web: http://www.hpi.uni-potsdam.de/meinel/forschung/future_internet/semantic_technologies.htmlE-Mail: [email protected]: jhercher
Vielen Dank für
Ihre Aufmerksamkeit!