Learning analytics ist definiert als «the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimising learning and the environments in which it occurs» [1] – oder etwas umgangsprachlicher formuliert: «It is about collecting traces that learners leave behind and using those traces to improve learning.» [2]
Die Analyse von Lehr-/Lerndaten kann für verschiedene Anspruchsgruppen einer Universität von grosser Bedeutung sein [3]:
- Studierende können die eigene Leistung beurteilen und die eigenen Lernanstrengungen mit denen ihrer KommilitorInnen vergleichen. Auch können sie sich mit den Erfahrungswerten messen und ihre Fortschritte sehen.
- Dozierende können beurteilen, wie häufig und in welcher Art und Weise ihre Unterrichtsmaterialien verwendet werden. Daraus lässt sich zum Beispiel schliessen, welche Materialien bevorzugt werden und wann Studierende welche Lernaktivitäten ausführen.
- Die Institution kann Nutzungszahlen der verwendeten Lernsoftware erheben.
Der Mehrwert von Learning analytics wird dabei im NMC Horizon Report [4] beschrieben als Werkzeug zur Steigerung des Verständnisses von Lehren und Lernen (weiteres hierzu auch bei [3]). Nachgelagert soll dadurch eine besser angepasste Lehre angeboten werden und auf Probleme schneller reagiert werden können.
Vor allem an Präsenzuniversitäten ergeben sich bei der Erfassung von Learning Analytics zwei Probleme. Erstens können nicht alle Lernaktivitäten von Studierenden erfasst werden (zum Beispiel Lernrunden oder Übungslektionen). Zweitens ist es oft auch bei den erfassten Lernaktivitäten schwierig bis unmöglich, die vorhandenen Daten miteinander zu verknüpfen. Zudem ist bei der Interpretation der Daten immer Vorsicht geboten. Ein kleines Beispiel hierfür: ein Dozent sieht, dass 80% seiner Studierende die Folien erst eine Stunde vor der Vorlesung herrunterladen. Deshalb beschliesst er, diese zukünftig erst 2h vor der Vorlesung zur Verfügung zu stellen. Damit trifft er aber nun genau diejenigen Studierenden, welche sich gewissenhaft rechtzeitig vorbereiten.
Ein weiteres, nicht zu unterschätzendes Problemfeld ist die der Datenschutz, das heisst das Erfassen und Verwerten von Studierendendaten. Die Rechtslage ist dabei in jedem Land etwas anders. Unter Umständen braucht die Auswertung ein schriftliches Einverständnis von Studierenden. Zumindest eine entsprechende Transparenz ist unbedingt anzustreben, da das Misstrauen vor dem Hintergrund grosser Abhörskandale in den letzten Monaten stark gestiegen ist. Ein guter Ansatz liefert hier [6].
Gross ist aber die Hoffnung, fundamentale Erkenntnisse zu gewinnen. Die Frage ist allerdings, wie viel radikal neue Information tatsächlich in den Big Data steckt. Melanie Booth erklärt dies hervorragend: "learning analytics may hold great promise as a way to support learning assessment and as a higher education "movement." The potential of learning analytics to combine information from multiple and disparate sources, to foster more-effective learning conditions in real time, and to enable multiple focal points for analysis and improvement is enticing. However, even though learning analytics offers powerful tools and practices to improve the work of learning and assessment, well-considered principles and propositions for learning assessment should inform its careful adoption and use. Otherwise, learning analytics risks becoming a reductionist approach for measuring a bunch of "stuff" that ultimately doesn’t matter." [5]
Entscheidend ist also nicht die technische Machbarkeit (viele Daten sind einfach abrufbar), sondern dass die richtigen Fragen an die Daten gestellt werden. Und viele dieser Fragen können mit den heutigen Werkzeugen oder aus der Didaktik-Forschung bereits beantwortet werden. Ein gutes Beispiel hierfür ist, dass häufiges Repetieren zu besserem Lernerfolg führt.
An der ETH fliessen an verschiedenen Stellen Analysen von Unterricht in die Planung ein. An erster Stelle ist hier die umfangreiche Unterrichtsevaluation zu nennen. Diese ist allerdings nur für die betroffen Personen und die Studienkoordinatoren einsehbar. Ebenso werten Dozierende Lerndaten aus einzelnen Veranstaltungen aus. Beispielsweise werden MOOC-begleitete Unterrichtssequenzen und Lernaktivitäten in Moodle analysiert [7]. Eine übergeordnete Analyse (insbesondere kombiniert aus verschiedenen Quellen) auf institutioneller oder Kursebene wird zur Zeit nicht verfolgt. Dies einerseits aus datenschutzrechtlichen Gründen, andererseits, weil der Aufwand den Nutzen in der Regel übertrifft. Hilfestellungen, wie aussagekräftige Daten auf einfache Weise aus Plattformen gezogen werden können, wäre aber für die ETH sinnvoll.
Die Möglichkeiten für Studierende, um zum Beispiel das eigene Studienverhalten mit mit dem ihrer Peers zu vergleichen, sind zur Zeit auf vereinzelte Kurse beschränkt. In Zukunft wäre ein breiteres Angebot wünschenswert.
Ob und wie auf institutioneller Ebene Big data ausgewertet werden, dürfte auf politischer Ebene entschieden werden.
Quellen
Bild: Martin Grandjean, wikipedia.org, CC BY-SA 3.0
[1] 1st International Conference on Learning Analytics and Knowledge, Banff, Alberta, February 27–March 1, 2011, as cited in George Siemens and Phil Long, "Penetrating the Fog: Analytics in Learning and Education," EDUCAUSE Review, vol. 46, no. 5 (September/October 2011).
[2] Erik Duval: Learning Analytics and Educational Data Mining, Erik Duval's Weblog, 30 January 2012, https://erikduval.wordpress.com/2012/01/30/learning-analytics-and-educational-data-mining/
[3] Surf, the collaborative organisation for ICT in Dutch higher education and research: https://www.surf.nl/en/themes/learning-and-testing/learning-analytics/index.html )
[4] New Media Consortium and EDUCAUSE Learning Initiative, NMC Horizon Report: 2012 Higher Education Edition, p. 22.
[5] Melanie Booth, Learning analytics: The new black: http://www.educause.edu/ero/article/learning-analytics-new-black.
[6] Stephan Göldi: Ist Learning Analytics wirklich neu? http://esomea.goeldi.org/2012/06/08/ist-learning-analytics-wirklich-neu/
[7] http://blogs.ethz.ch/refreshteaching/dates-topics/learning-analytics/
Sehr interessanter Überblick vor allem auch bezogen auf die Frage “Verspricht man hier nicht etwas viel?” Als Lernpsychologin erscheinen mir manche Ergebnisse aus Big Data Analysen zu wenig Erkenntissgewinn zu bringen der sich deutlich abhebt von dem was die Lernforschung schon jahrelang untersucht hat. Eine interessante Analyse habe ich bei Bart Rienties von der Open University UK gefunden. Er verknüpft LMS Daten und Daten aus der Unterrichtsevaluation. Darüber hinaus hat sich seine Gruppe die Mühre gemacht einen Grossteil der LMS Module einem Mapping unterzogen und somit eine Klusteranalyse von learning designs vornehmen können. Den kurzen Artiekl dazu kann man hier finden: http://oro.open.ac.uk/43505/
Sehr interessanter Überblick vor allem auch bezogen auf die Frage “Verspricht man hier nicht etwas viel?” Als Lernpsychologin erscheinen mir manche Ergebnisse aus Big Data Analysen zu wenig Erkenntissgewinn zu bringen der sich deutlich abhebt von dem was die Lernforschung schon jahrelang untersucht hat. Eine interessante Analyse habe ich bei Bart Rienties von der Open University UK gefunden. Er verknüpft LMS Daten und Daten aus der Unterrichtsevaluation. Darüber hinaus hat sich seine Gruppe die Mühre gemacht einen Grossteil der LMS Module einem Mapping unterzogen und somit eine Klusteranalyse von learning designs vornehmen können. Den kurzen Artikel dazu kann man hier finden: http://oro.open.ac.uk/43505/