sas® contextual analysis in action erfahrungen aus … · 2016-03-11 · copyright © 2012, sas...

24
Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS EINEM EIN SELBSTVERSUCH GERHARD SVOLBA COMPETENCE CENTER ANALYTICS WIEN, 17. NOVEMBER 2015

Upload: others

Post on 25-Jul-2020

2 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS® CONTEXTUAL ANALYSIS IN ACTION

ERFAHRUNGEN AUS EINEM EIN SELBSTVERSUCH

GERHARD SVOLBA

COMPETENCE CENTER ANALYTICS

WIEN, 17. NOVEMBER 2015

Page 2: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS®

CONTEXTUAL

ANALYSIS 14.1

EIN BLICK IN DIE

PRODUKTBESCHREIBUNG

• Was macht das Produkt?

• Es erlaubt große Sammlungen von Text-Dokumenten zu analysieren, Sentiments zu

identifizieren und robuste Modelle zur Kategorisierung und Extraktion von Inhalten zu

erstellen.

• Wie funktioniert das?

• Kombination von automatischer Erkennung, Machine-Learning Methoden, Linguistischer

Regeln und Experten-Input zur Entwicklungen eines Kategorisierungs/Extraktions-Modells

• Automatische Identifikation von Themen in den Dokumenten, Definition von Kategorien und

Überarbeitungen durch den Text-Analysten

• Interaktives Testen und visuelle Exploration über ein HTML5-Browser Interface mit Wizards

und Context-sensitiver Hilfe.

• Wie integriert sich SAS Contextual Analysis in das SAS Portfolio?

• Integrierter Teil der SAS Plattform (SAS Metadata Server, …)

• (Mögliche) Ergänzung zum SAS Text Miner

• Ergebnis-Darstellung mit SAS Visual Analytics, Weiterwendung in SAS Analytik Produkten

Page 3: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS®

CONTEXTUAL

ANALYSIS 14.1PROZESSFLUSS UND ÖKO-SYSTEM

Natural Language Processing

Context

JL

Machine Learning

H

Discovery

Operationalisierung

Weiterführende Analysen z.B.

Vorhersagemodellierung

Fachwissen

Unstrukturierte

Textdaten

Themen

Klassifizierung

Zusammenhänge

Erkenntnisse

Page 4: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS®

CONTEXTUAL

ANALYSIS 14.1

BENUTZEROBERFLÄCHE

UND ERGEBNISSE

Page 5: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

DER

SELBSTVERSUCH

DIE AUSGANGSBASIS:

2 BÜCHER VON SAS-PRESS

28 Kapitel

3 Anhänge

23 Kapitel

5 Anhänge

Data Quality DefinedCase Studies – Definition- Availability –

Quantity – Completeness – Correctness –

Predictive Modeling – Analytics –

Process Considerations

Profiling and ImprovementMissing Values – Time Series Data –

Across Tables – Data Quality with Analytics –

SAS Analytic Tools

Simulation StudiesIntroduction – Predictive Modeling –

Time Series Forecasting

Page 6: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

DER

SELBSTVERSUCHZIELE UND RAHMENBEDINUNGEN

• "Unsupervised" Analyse

• Welche Themen werden gefunden?

• In welche Cluster können die

Dokumente eingeteilt werden?

• Wodurch beschreiben sich diese Cluster?

Page 7: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SOFTWARE DEMOBEREITSTELLUNG DER QUELLDATEN

ALS WORD-DOKUMENTE

Page 8: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SOFTWARE DEMOAUTOMATISCHE SYNONYM-ERKENNUNG,

STEMMING, STOP-LISTEN BERÜCKSICHTIGUNG

Page 9: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SOFTWARE DEMOAUTOMATISCHE THEMEN-ERKENNUNG

AUS BASIS ANALYTISCHER MODELLE

Page 10: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SOFTWARE DEMOANZEIGE DER DOKUMENTE

PRO THEMA

Page 11: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SOFTWARE DEMOANZEIGE DER DOKUMENTE

PRO THEMA

Page 12: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SOFTWARE DEMO TERM-MAP FÜR EIN THEMA

Page 13: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SOFTWARE DEMOWORD-CLOUD FÜR DIE DOKUMENTE

EINES THEMAS

Page 14: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SOFTWARE DEMOKONVERTIERUNG DER THEMEN IN

KATEGORIEN

Page 15: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SOFTWARE DEMOZUGRIFF AUF DIE TOPIC-WEIGHTS

PRO DOKUMENT

Page 16: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SOFTWARE DEMOCLUSTERING DER DOKUMENTE

IM SAS ENTERPRISE MINER

Page 17: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SOFTWARE DEMOCLUSTER-ERGEBNISSE AUF BASIS

DER TEXT-TOPIC ANALYSE

1Missing

Values10 11 A

2Erzeugen des

Analytic-Marts10 11 14 15 16 18 19 20 21 22 23 24 25 26 27 28 9 A C B

3

Data Origin

und Data

Management

5 13 17 B

4DQ Case

Studies1

5Fachliche

Konzepte1 2 3 4 12 2 3 4 5 6 7 8 9 12

6

DQ mit

Analytik und

SAS

13 14

7Data Quality

Simulationen15 16 17 18 19 20 21 22 23 C D

8

Analytic Data

Mart

Structures

6 7 8 E

Page 18: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SOFTWARE DEMOSCATTER-PLOT DER KAPITEL BZGL.

DIE 1. UND 2. HAUPTKOMPONENTE

Page 19: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

ANWENDUNGS-

BEISPIEL 1

KUNDEN-FEEDBACK AUF

EINEM WEB-PORTAL

Sammlung von 17.205 Kunden-Feedback

Nachrichten auf einem Web-Portal

• Wie denken die Kunden über uns?

• Automatisches Routing zur relevanten Stelle?

• Monitoring über die Zeit

Page 20: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

ANWENDUNGS-

BEISPIEL 1

KUNDEN-FEEDBACK AUF EINEM

WEB-PORTAL (FORTS.)

Direkter Zugriff auf diese Nachrichten (Web Crawler, Datenintegration)

Automatische Erkennung von 23 "Themen" (Topics) in diesem Nachrichten-Pool mit Hilfe von Text Mining und Natural Language Processing

Manuelle Verfeinerung/Zusammenfassung zu 21 Themen

Automatisches Ableiten der entsprechenden Kategorie pro Topic auf Basis linguistischer Regeln

Testen der Treffsicherheit dieser 21 Kategorien

Regelmäßiges, automatisches Anwenden dieser linguistischen Regeln zur Zuweisung (Routing) von Kunden-Feedbacks zu den Kategorien

Datenintegration

Analytik

Analytik

Manuelle Interaktion

Validierung, Tuning

Operatives Scoring

Page 21: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

ANWENDUNGS-

BEISPIEL 2

VERTRAGS-TEXTE UND KLAUSELN

IN EINER TEXT-DATENBANK

62.837 Vertragstexte in PDF-Form auf einem File-Server

• In welche Gruppen können die Vertragstexte gruppiert

werden?

• Wie deckt sich diese Gruppierung mit anderen

Vertragskategorien?

• Können bestimmte Klauseln vereinheitlicht werden?

§§

Page 22: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

ANWENDUNGS-

BEISPIEL 2

VERTRAGS-TEXTE UND KLAUSELN

IN EINER TEXT-DATENBANK (FORTS.)

Einlesen der Daten direkt aus den PDF-Dokumenten

Automatische Erkennung von 61 Themen in den Vertragstexten.

Definition einer hierarchischen Themenstruktur mit 14 Haupt-Themen, 61 Themen und 137 Sub-Themen

Ableiten von Kategorien aus diesen Themen

Profiling der Eigenschaften der einzelnen Kategorien und Themen

Identifikation der häufigsten Inhalte der Vertragstexte und der Verteilung über die Dokumente

Datenintegration

Analytik

Analytik

Manuelle Interaktion

Validierung, Tuning

Erkenntnisgewinn

Page 23: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

Copyright © 2012, SAS Institute Inc. All rights reserved.

TEXT MINING

INTEGRIERTE

ANALYTIK

Erkennen von wertvollen

Mustern, Themen und

Einblicken aus Text-Daten

Integration strukturierte

und unstrukturierten Daten

für:

• Forecasting

• Optimierung

• Predictive Modeling

• Netzwerk Analyse

SAS® Text

Analytics

CONTEXTUAL

ANALYSIS

• Information Retrieval

• Automatische Themen

Erkennung

• Content Kategorisierung

• Extraktion von Entitäten

• Sentiment Analyse

SAS TEXT ANALYTICS

SAS® CONTEXTUAL

ANALYSISEINBETTUNG IN DIE SAS PLATTFORM

Page 24: SAS® CONTEXTUAL ANALYSIS IN ACTION ERFAHRUNGEN AUS … · 2016-03-11 · Copyright © 2012, SAS Institute Inc. All rights reserved. SAS® CONTEXTUAL ANALYSIS 14.1 EIN BLICK IN DIE

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS® CONTEXTUAL

ANALYSISWEITERE INFORMATIONEN

• Gerne im direkten Gespräch mit uns persönlich.

• SAS-Webinar zu SAS Contextual Analysis Demo

• Text Analytics auf der Deutschen SAS-Website

• Fact Sheet

• Beitrag im Mehr-Wissen Blog vom 30. Oktober 2015