![Page 1: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/1.jpg)
Evidenzbasierte
Eignungsdiagnostik im globalen und digitalen Zeitalter
Tuesday,)28)April)15) 1
Dr. Ilke Inceoglu Surrey Business School
5. Zürcher Diagnostik-Kongress 23. – 24. April 2015, Zürich
![Page 2: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/2.jpg)
Tuesday,)28)April)15) 2
![Page 3: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/3.jpg)
• Evidenzbasierte Praxis und Eignungsdiagnostik
• Eignungsdiagnostik im digitalen Zeitalter • Eignungsdiagnostik im globalen Kontext
• Schlussfolgerungen für die Praxis
Tuesday,)28)April)15) 3
Überblick
![Page 4: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/4.jpg)
Evidenzbasierte Praxis
Tuesday,)28)April)15) 4
![Page 5: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/5.jpg)
Evidenz in Organisationen
• Viele Entscheidungen in Organisationen sind nicht evidenzbasiert oder datengesteuert
• Stattdessen werden Entscheidungen oft auf der Grundlage von persönlicher Erfahrung oder schwacher Evidenz getroffen
• Evidenzbasiertes Management bedeutet, dass man Prinzipien, die auf der besten Evidenz basieren, in die organisationale Praxis umsetzt (Rosseau, 2006)
Tuesday,)28)April)15) 5
Rosseau (2006)
![Page 6: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/6.jpg)
Evidenzbasierte Praxis in Eignungsdiagnostik?
“People have an inherent resistance to analytical approaches to selection because they fail to view selection as probabilistic and subject to error” (p. 333).
Tuesday,)28)April)15) 6
Highhouse (2008)
![Page 7: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/7.jpg)
Evidenz in der Anwendung von Eignungsdiagnostik
• Unstrukturierte Interviews werden in der Praxis am häufigsten eingesetzt (Highhouse, 2008; Anderson, 2005)
• Kognitive Fähigkeitstests, Persönlichkeitstests und standardisierte interviews (e.g. Schmidt & Hunter, 1998) sagen Arbeitsleistung aber besser vorher
• Wissen allein genügt nicht!
• Personalleiter und Manager, die die Evidenz kennen, ignorieren sie oft oder nehmen sie weniger ernst als persönliche Expertise (Lievens, Highhouse & De Corte, 2005)
Tuesday,)28)April)15) 7
![Page 8: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/8.jpg)
Evidenzbasierte Praxis
Entscheidungsqualität ist stark beeinflusst durch vorhandene Daten und Fakten, diese müssen reliabel und valide sein “Big E Evidence” and “little e evidence”
Tuesday,)28)April)15) 8
Rosseau (2006)
Big$E$Evidence$ Li,le$e$evidence$Generalizable)knowledge)regarding)cause<effect)connec?ons))
Local)or)organiza?on)specific)
Data)systema?cally)gathered)using)scien?fic)methods,)across)a)range)of)seFngs)
Data)systema?cally)gathered)in)a)par?cular)seFng)to)inform)local)decisions)
![Page 9: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/9.jpg)
Little ‘e’ evidence
• Location, location, location - local contextualised evidence • Kombiniert Präzision, Stringenz & Bedeutung • Metapher des evidenzbasierten Entscheiders: Detektiv
Tuesday,)28)April)15) 9
![Page 10: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/10.jpg)
Evidence vs Intuition
Tuesday,)28)April)15) 10
![Page 11: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/11.jpg)
Evidence vs Intuition
Tuesday,)28)April)15) 11
![Page 12: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/12.jpg)
Tuesday,)28)April)15) 12
Evidenz versus Intuition
Kogni0ver$‘Antrieb’$ Niedrige$Analyse$ Hohe$Analyse$
Niedrige)Intui?on) Kogni?v)unkri?sch,)anspruchslos)
Analy?sch)
Hohe)Intui?on) Intui?v) Kogni?v)beweglich)
![Page 13: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/13.jpg)
Evidenzbasierte Entscheidungen treffen
• Wie ist der Zusammenhang zwischen der Evidenz und Entscheidungsprozessen in Ihrer eignungdiagnostischen Arbeitspraxis, in Ihrer Organisation?
• Werden Daten/Evidenz systematisch erhoben und ausgewertert
(z.B. Validierungsstudien)? Für welchen Zweck? • Falls ja, inwieweit beinflusst die Evidenz eignungsdiagnostische
Entscheidungen?
Tuesday,)28)April)15) 13
Tingling & Brydon (2010)
![Page 14: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/14.jpg)
Herausforderungen beim evidenzbasierten Entscheiden
• Zu viel Evidenz
• Nicht genug gute Evidenz
• Evidenz trifft nicht ganz auf den Anwendungsfall zu • Geschichten/Anekdoten sind ohnehin überzeugender
Tuesday,)28)April)15) 14
Pfeffer & Sutton (2006)
![Page 15: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/15.jpg)
Eignungsdiagnostik im digitalen Zeitalter
Tuesday,)28)April)15) 15
![Page 16: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/16.jpg)
Tuesday,)28)April)15) 16
![Page 17: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/17.jpg)
Eignungsdiagnostik im digitalen Zeitalter
Tuesday,)28)April)15) 17
![Page 18: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/18.jpg)
Eignungsdiagnostik im digitalen Zeitalter
• Die eignungdiagnostischen Methoden und Instrumente werden immer fortgeschrittener, z. B.:
• Simulationen, “Gaming” (e.g. Fetzer, 2013),
• Computer Adaptive Testing (CAT)
• Integrierte eignungsdiagnostische Systeme (“applicant tracking systems”)
Tuesday,)28)April)15) 18
![Page 19: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/19.jpg)
Simulationen – Beispiele:
https://www.sis.gov.uk/careers/roles/intelligence-officers/test-your-skills.html https://youtu.be/svGHob88JzM
Tuesday,)28)April)15) 19
![Page 20: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/20.jpg)
Eignungsdiagnostik im digitalen Zeitalter
Computer, Smartphone/internetbasierte eignungsdiagnostische Verfahren:
• werden effizienter: hohe Bewerberzahlen und vielfältige Testverfahren
• werden standardisierter; wenn eignungsdiagnostische Gütekriteren erfüllt sind, auch objektiver (internetbasierte Verfahren allein garantieren keine eignungsdiagnostische Qualität!)
• erlauben es, Bewerber im internationalen Kontext kostengünstig zu testen
• werden im Design und der Entwicklung stark beeinflusst durch den Gebrauch von Smartphones und Tablets
• werden immer mehr beeinflusst durch einen ‘data driven approach’ (Talent Analytics) – eine Entwicklung die weiterhin steigt (e.g. Bersin, 2014)
Tuesday,)28)April)15) 20
![Page 21: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/21.jpg)
Eignungsdiagnostik im digitalen Zeitalter
• Durch das Internet haben Testentwickler mehr Kontrolle über Testverfahren
• Gleichzeitig bringt dies auch neue Herausforderungen (z.B. Bartram, 2002), z.B.:
• Test security (unproctored testing)
• Intellectual Property (IP) issues
• Data security, data protection
Tuesday,)28)April)15) 21
![Page 22: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/22.jpg)
Eignungsdiagnostik im digitalen Zeitalter
Digitale Technologien resultieren in mehr Daten, die wir leicht abrufen können:
• Integration von Daten für die systematische Entwicklung, Andwendung und Evaluierung von eignungsdiagnostischen Verfahren (“Big Data”)
• Hochentwickelte Verfahren und Datenanalyse-Methoden: mehr Training und Expertise (“data scientists”) notwendig (e.g. Bersin, 2014)
• Gute Datenmanagement-Prozesse wichtig (Redman, 2008)
• Bandbreite von Datenquellen erfordert:
• Kritische Evaluation der Datenqualität und -quellen (auch: wie repräsentativ sind die Daten)?
Tuesday,)28)April)15) 22
Herausforderungen
![Page 23: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/23.jpg)
Using data wisely
• Digitale Technologien bringen viele Möglichkeiten für die Forschung, den Einsatz, die Evaluation und die Verbesserung eignungsdiagnostischer Verfahren
• Es bleibt unerlässlich, hohe
Qualitätsstandards in der Forschung und der Andwendung von eignungsdiagnostischen Verfahren anzusetzen
• Qualität der Daten und der
eignungsdiagnostischen Verfahren bleiben genauso bedeutend wie bisher!
Tuesday,)28)April)15) 23
![Page 24: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/24.jpg)
Eignungsdiagnostik im globalen Kontext
Tuesday,)28)April)15) 24
![Page 25: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/25.jpg)
Globaler Kontext beinflusst eignungsdiagnostischen Verfahren in Bezug auf: 1. Design und Entwicklung 2. Vertrieb (“distribution”) 3. Anwendung
Tuesday,)28)April)15) 25
Eignungsdiagnostik im globalen Kontext
![Page 26: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/26.jpg)
Design und Entwicklung eignungsdiagnostischer Verfahren
Eignunsdiagnostische Instrumente müssen in verschiedenen Sprachen und Kulturen anwendbar sein: • Messäquivalenz
• Vergleichbare Normwerte, Referenzgruppen
• Eignunsdiagnostische Instrumente müssen Leistung und andere arbeitsrelevante Kriterien gleichmassen vorhersagen (Validität)
• Eignunsdiagnostische Instrumente und Testverfahren müssen fair sein
Tuesday,)28)April)15) 26
Inceoglu & Bartram (2013)
![Page 27: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/27.jpg)
• Spezifische Gegebenheiten in verschiedenen Ländern (z.B. ”emerging markets”, Inceoglu & Bartram, 2012)
• Test security (z.B. item banks) • Guidance und Standards: ISO 10667 legt internationalen Standard für
Assessments fest
Tuesday,)28)April)15) 27
Vertrieb eignungsdiagnostischer Verfahren
![Page 28: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/28.jpg)
Anwendung eignungsdiagnostischer Verfahren
• Internationale Verbände (z.B. EFPA, ITC, IAAP) • Ausbildung, Schulung und Training:
• Psychologen, Personalführende, Manager • Organisationen
• Bewerber: self assessment & practice sites
• Hohe Standards für Testsicherheit (test security) • Hohe Standards für Datenschutz (data privacy) • Fairness in Testverfahren für Bewerber, Feedback
Tuesday,)28)April)15) 28
![Page 29: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/29.jpg)
Das Kriterium nicht aus den Augen verlieren!
Tuesday,)28)April)15) 29
![Page 30: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/30.jpg)
SCHLUSSFOLGERUNGEN FÜR DIE PRAXIS
Tuesday,)28)April)15) 30
![Page 31: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/31.jpg)
• Eignungsdiagnostische Instrumente und Verfahren sollten evidenzbasiert sein
• Dies ist auch – oder besonders – wichtig im digitalen Zeitalter: im Umgang mit digitalen Technologien im globalen Kontext
• Dies erfordert, dass wir uns und unsere Herangehensweise hinterfragen und proaktiv nach Evidenz suchen (Unterscheidung zwischen ‘little e’ und ‘Big E’ Evidenz)
Tuesday,)28)April)15) 31
Implikationen für die Praxis
![Page 32: Evidenzbasierte Eignungsdiagnostik im globalen …...Evidenzbasierte Eignungsdiagnostik im globalen und digitalen Zeitalter Tuesday,)28)April)15) 1 Dr. Ilke Inceoglu Surrey Business](https://reader034.vdokument.com/reader034/viewer/2022043003/5f84c57774b6211ec8251757/html5/thumbnails/32.jpg)
Thank you!
Tuesday,)28)April)15) 32