ONYX Testsuite
Einsatzszenarien und Funktionalitäten
Abschluss der Projekte eExam und eAssessPlus
Medienzentrum, Technische Universität Dresden
Yvonne Winkelmann
BPS Bildungsportal Sachsen GmbH
16.Januar 2013
ONYX Testsuite 2 | 30 Yvonne Winkelmann
E-Assessment: Szenarien
Mehrwerte und Vorurteile
ONYX Testsuite: Was ist das?
ONYX Testsuite: Was kann ich damit machen?
E-Prüfungen: Möglichkeiten
ONYX Testsuite: Was kommt noch?
Das erwartet Sie!
ONYX Testsuite 3 | 30 Yvonne Winkelmann
E-Assessment
Der Begriff „Assessment“
Quelle: www.dict.leo.org
ONYX Testsuite 4 | 30 Yvonne Winkelmann
E-Assessment: Szenarien
Einstufungstest
Level A Level B Level C
Lernmodul
Selbsttest
Abschlussprüfung
Lerninhalte
5
5
Lehrevaluation
Diagnostisch
Formativ
Summativ
OrientierenEinstufen
BegleitenLenken
AbschließenBewerten
ONYX Testsuite 5 | 30 Yvonne Winkelmann
E-Assessment: Szenarien
Quelle: Hamburger eLearning Magazin, C.Rüdel 2009
ONYX Testsuite 6 | 30 Yvonne Winkelmann
E-Assessment
Effizienzsteigerung Qualitätsverbesserung
• Objektivität, durch computerbasierte
Auswertung
• Zufällige Anordnung erschwert
Betrugsversuche
• Einsatz von Audio, Video und
hochauflösendem Bildmaterial
• Qualitätsverbesserung der Fragen
durch anschließende Testanalyse
• Senkung des Korrekturaufwands,
durch computerbasierte
Auswertung
• Anlegen und Verwalten großer
Fragepools
• Bessere Lesbarkeit der Ergebnisse
• Direkte und zentrale Bereitstellung
der Auswertungsdaten
E-Assessment: Mehrwerte
ONYX Testsuite 7 | 30 Yvonne Winkelmann
E-Assessment
Effizienzsteigerung Qualitätsverbesserung
• Beschränkung der Aufgabenformate
• Entwicklung "neuer„
Prüfungsdidaktiken
• Unterschiedliche Voraussetzungen der
Studierenden (u.a. PC-Kenntnisse)
• Technisches Risiko (u.a. Datenverlust,
Stabilität, Skalierbarkeit)
• Aufwand für die Erstellung
qualitativer Inhalte
• Notwendige Einarbeitung in das
Testsystem
• Technische-, räumliche- und
rechtliche Anforderungen
• Zukunftsfähigkeit des Systems
E-Assessment: Befürchtungen
ONYX Testsuite 8 | 30 Yvonne Winkelmann
E-Assessment
Effizienzsteigerung Qualitätsverbesserung
• Objektivität, durch computerbasierte
Auswertung
• Zufällige Anordnung erschwert
Betrugsversuche
• Einsatz von Audio, Video und
hochauflösendem Bildmaterial
• Qualitätsverbesserung der Fragen
durch anschließende Testanalyse
• Senkung des Korrekturaufwands,
durch computerbasierte
Auswertung
• Anlegen und Verwalten großer
Fragepools
• Bessere Lesbarkeit der Ergebnisse
• Direkte und zentrale Bereitstellung
der Auswertungsdaten
E-Assessment: Mehrwerte
���� Prüfungsmanagement
���� Fachliche und Technische Betreuung
���� Software- und Hardwarelösung
ONYX Testsuite 9 | 30 Yvonne Winkelmann
E-Assessment: Funktionale Anforderungen
Erstellung
Durchführung
Auswertung
ONYX Testsuite 10 | 30 Yvonne Winkelmann
E-Assessment: Funktionale Anforderungen
Erstellung
Durchführung
Auswertung
Verwaltung
ONYX Testsuite 12 | 30 Yvonne Winkelmann
� Vielfältige - geschlossene und
offene - Aufgabenformate
• Weitreichende Medien-
unterstützung
• Individuelle Auswertungs- und
Feedbackmechanismen
• Teststrukturierung und -steuerung
Geschlossene Aufgabenformate
� Einfache und Mehrfache Auswahl
� Hotspot
� Zuordnung (Drag and Drop)
� Zuordnung (Matrix)
� Reihenfolge
� Fehlertext
Offene Aufgabenformate
� Lückentext
� Numerische Eingabe
� Text-Teilmenge
� Freie Eingabe
� Datei-Upload
ONYX Testsuite: Was kann ich damit machen?
ONYX Testsuite 13 | 30 Yvonne Winkelmann
� Vielfältige - geschlossene und
offene - Aufgabenformate
� Weitreichende Medien-
unterstützung
• Individuelle Auswertungs- und
Feedbackmechanismen
• Teststrukturierung
� Bilder
� Audio
� Flash
� Formeln
ONYX Testsuite: Was kann ich damit machen?
ONYX Testsuite 14 | 30 Yvonne Winkelmann
� Vielfältige - geschlossene und
offene - Aufgabenformate
� Weitreichende Medien-
unterstützung
� Einstellungen und Anpassungen
� Individuelle Auswertungs-und
Feebackmechanismen
• Teststrukturierung und -steuerung
Automatisch:
� Richtig / Falsch Bewertung
� Antwort-basierte Bewertung
� Toleranzbereiche
Teil-Automatisiert / Manuell:
� Manuelle Bewertung
Feedback
� Test- und Aufgabenebene
� Richtig / Falsch basiert
� Antwort-basiert
� Bewertungs-basiert
ONYX Testsuite: Was kann ich damit machen?
ONYX Testsuite 15 | 30 Yvonne Winkelmann
� Vielfältige - geschlossene und
offene - Aufgabenformate
� Weitreichende Medien-
unterstützung
� Individuelle Auswertungs-und
Feebackmechanismen
� Teststrukturierung und -
steuerung
� Individuelle Teststruktur
� Zeitlimit
� Zufällige Anordnung
� Zufällige Auswahl
� Navigationsart
� Versuchsanzahl
� Feedback- und Lösungsanzeige
� Hinweisfeld-Option
ONYX Testsuite: Was kann ich damit machen?
ONYX Testsuite 16 | 30 Yvonne Winkelmann
Prüfungsszenario
Abschlussprüfung
Probetermin Prüfungstermin Nachholtermin
1. Durchlauf 2.Durchlauf
Sektion 1 Sektion 2 Sektion 2
Aufgabe 1Aufgabe 1
Aufgabe 1
ONYX Testsuite 17 | 30 Yvonne Winkelmann
Lernziele und Testzusammenstellung
Abschlussprüfung
Erinnern
Informationen
erkennen und
wiedergeben
Verarbeiten
Informationen
verstehen und
anwenden
Erkennen
Informationen
analysieren,
bewerten und
erzeugen
vgl. Kompetenzstufen nach Metzger 1993
ONYX Testsuite 18 | 30 Yvonne Winkelmann
Lernziele und Testzusammenstellung
Erinnern
vgl. Kompetenzstufen nach Metzger 1993
ONYX Testsuite 21 | 30 Yvonne Winkelmann
� Nutzung vorhandener Systeme
� Vorhandenes Nutzer- und Ressourcenmanagement
� Vermeidung von Systembrüchen
� Integration in den Lehrbetrieb
Einstufungstest > Selbsttest und Übung > Abschlusstest
ONYX Testsuite E-Assessment: Szenarien
ONYX Testsuite 23 | 30 Yvonne Winkelmann
� Nutzung eines Prüfungsbrowsers (SEB)
� Zugriffsschutz durch Prüfungscode
� Direktzugang zur Prüfung
� Zugriffsschutz durch IP-Adressen/ -Bereiche
� Prüfungssteuerung
� Manueller Prüfungsstart
� Manuelles Fortsetzen nach Clientausfall
� Prüfungssignatur inkl. Verifikationsmöglichkeit
� Antwortbestätigung
� Archivierung der Antworten
Offen: Absicherung hinsichtlich Netz- und Serverausfall während der Prüfung
Spezieller Prüfungsmode im Kursbaustein Test
E-Prüfungen: Möglichkeiten und Erfahrungen
ONYX Testsuite 25 | 30 Yvonne Winkelmann
� 550 Prüfungsleistungen
� Aufteilung auf 2 Tage und 5 PC-Pools: 100 Studierende gleichzeitig
� Placement-Tests in Englisch und Französisch
� Nutzung des Onyx-Prüfungsmode
Einstufungstests an der TU Chemnitz
E-Prüfungen: Möglichkeiten und Erfahrungen
ONYX Testsuite 26 | 30 Yvonne Winkelmann
� Erstellung von Leitfäden für die Prüfungsdurchführung
� Erfolgreiche Probeklausur in den Kommunikationswissenschaften
� Weitere Erprobungen durch das Medienzentrum
Prüfungserprobungen an der TU Dresden
Selbstlernmodul zum Thema E-Assessment
Projekt eExam am Medienzentrum der TU Dresden
Das Modul befasst sich mit den Themen Einsatzmöglichkeiten von E-
Assessment in der Hochschullehre, Didaktik, Organisation, Technik
und Recht und steht allen Lehrenden und Interessierten frei innerhalb
der Lernplattform OPAL zur Verfügung.
https://bildungsportal.sachsen.de/opal/url/RepositoryEntry/2597027842
E-Prüfungen: Möglichkeiten und Erfahrungen
ONYX Testsuite 28 | 30 Yvonne Winkelmann
� Umstellung auf Web-Technologie
� Vollständige Integration in OPAL + Desktopvariante
� Verwaltung der Inhalte lokal oder in frei wählbaren Repositorien
� Bereitstellung eines Test- und Aufgabenpools für OPAL-Nutzer
� Möglichkeit zum Austausch und zur Freigabe
• ONYX Webeditor mit integrierter Fragenpoollösung
ONYX-Testsuite: Was kommt noch?
• Aufbau eines hochschulübergreifenden Aufgabenpools
• Kursübergreifenden, qualitativen Item-Analysen
• Erweiterung der Bewertungsworkflows
• Lernziele als Basis und Output
ONYX Testsuite 29 | 30 Yvonne Winkelmann
Weitere Informationen
� Universität Bremen, ZMML
� http://www.eassessment.uni-bremen.de/
� N2E2, Niedersächsisches Netzwerk für E-Assessment
� http://n2e2.elan-ev.de/
� Freie Universität Berlin, CEDIS
� http://www.e-examinations.fu-berlin.de/
� E-Exam-Kurs der TU-Dresden
� https://bildungsportal.sachsen.de/opal/url/RepositoryEntry/2597027842
� iAssessSax, Projekt des SMWK
� http://www.uni-leipzig.de/~allpaed/wiki/doku.php?id=projekt:projekt
� Edu-Sharing Initiative
� http://www.edu-sharing.net/infoportal/
ONYX Testsuite 30 | 30 Yvonne Winkelmann
Vielen Dank für Ihre Aufmerksamkeit.
Bitte fragen Sie!
Yvonne Winkelmann
Mail: [email protected]
Tel.: +49 371 666 2739-0
Web: http://onyx.bps-system.de
Ihre Fragen