Digitalen Anwendungen wird oftmals ein großes Potenzial für die Leistungsförderung in verschiedenen Schulfächern zugeschrieben. Doch was ist an dieser These dran? Die Metaanalyse »The effectiveness of educational technology applications for enhancing mathematics achievement in K-12 classrooms: A meta-analysis« von Cheung & Slavin (2013) vergleicht digitale Lernangebote mit herkömmlichen Angeboten im mathematischen Schulunterricht. Dabei achten die Autoren besonders auf strenge forschungsmethodische Qualitätskriterien bei der Auswahl von Primärstudien.

Einleitung

Der Umgang mit digitalen Medien und Anwendungen ist für die heutige Generation von SchülerInnen weitgehend selbstverständlich. Insofern liegt es nahe, digitale Lernsoftware bzw. Applikationen auch im Unterricht einzusetzen, um SchülerInnen beim Lernen zu unterstützen und ihnen zu besseren Leistungen zu verhelfen.

Ob digitale Lernanwendungen tatsächlich zu besseren Schülerleistungen führen als traditionelle, analoge Lernangebote, untersucht die empirische Forschung bereits seit mehr als 30 Jahren. Dabei sind bis heute mehr als 20 Metaanalysen zu diesem Thema erschienen (davon sieben zum Fach Mathematik). Diese Studien ermittelten zwar überwiegend positive Effekte zugunsten digitaler Anwendungen, jedoch variieren die Ergebnisse im Hinblick auf die Schülerleistungen stark.

Die Gründe für diese uneinheitlichen Ergebnisse sind bisher nicht ausreichend geklärt. Eine mögliche Erklärung könnte mit der wissenschaftlichen Qualität der eingehenden Primärstudien zu tun haben: Die Effekte digitaler Anwendungen fallen bei forschungsmethodisch strengeren und damit verlässlicheren Studien insgesamt kleiner aus als bei Studien, die wissenschaftliche Standards in geringerem Maße erfüllen. Die vorliegende Metaanalyse konzentriert sich nun ausschließlich auf Erstere. Damit liefert sie nicht nur vertrauenswürdigere Befunde als bisherige Analysen, sondern deckt auch weitere Ursachen für die unterschiedliche Wirksamkeit digitaler Anwendungen im Fach Mathematik auf.

Worum geht es in dieser Studie?

Die Metaanalyse untersucht, ob und inwiefern Lernangebote mit digitalen Anwendungen zu besserer Schülerleistung im Fach Mathematik führen als nicht-digitale Lernangebote. Bei der Auswahl von Primärstudien legen die Autoren strengere forschungsmethodische Qualitätskriterien an als alle bisherigen Metaanalysen zu diesem Thema. Dazu gehört unter anderem, dass das jeweilige Lernangebot für mindestens 12 Wochen im regulären Schulunterricht durchgeführt wurde und die Studien Prä-Post-Messungen und Kontrollgruppen realisiert haben.

Zudem wurde darauf geachtet, dass in den Tests keine der beiden Gruppen (Experimentalgruppe vs. Kontrollgruppe) bevorzugt wurde – eine Bevorzugung der Gruppe, die mit dem digitalen Lernangebot arbeitet, liegt zum Beispiel vor, wenn die Testinhalte eher auf die digitalen Bedingungen zugeschnitten sind.

Im Zeitraum zwischen 1980 und 2012 erfüllten 74 Primärstudien alle diese genannten Kriterien; sie wurden deshalb in der Metaanalyse berücksichtigt. Davon stammen 45 Studien aus der Primarstufe mit insgesamt 31.555 teilnehmenden SchülerInnen und 29 Studien aus der Sekundarstufe mit insgesamt 25.331 teilnehmenden SchülerInnen.

Auf der Basis aller Primärstudien unterscheiden die Autoren drei Arten technologiebasierter Anwendungen:

• Bei den sogenannten »computerbasierten Ergänzungsprogrammen« (Anwendungsart 1) wird Lernsoftware eingesetzt, die zusätzlich zum analogen Schulunterricht ergänzende Übungen und Erklärungen anbietet.
• »Lernmanagementsysteme« (Anwendungsart 2) sind eigenständige und umfassende Softwareangebote, die zu einzelnen Inhaltsbereichen den Wissensstand von Lernenden diagnostizieren, ein entsprechend maßgeschneidertes Lern-, Test-, und Übungsangebot bereitstellen und Lernverläufe aufzeichnen.
• »Curriculum-bezogene Lernprogramme« (Anwendungsart 3) sind umfassende Softwareangebote für Lehrkräfte und Lernende, die komplett ausgearbeitete Lernsequenzen bereitstellen. Diese sind abgestimmt auf Schulcurricula und geltende Bildungsstandards und können zur computergestützten Gestaltung des gesamten Mathematikunterrichts verwendet werden.

Zudem wurde in der Metaanalyse eine Reihe von Moderatorvariablen (d.h. Einflussfaktoren) untersucht. Die folgende Tabelle enthält eine Übersicht über diese Variablen sowie die Anzahl und Beschreibung der Stufen:

Tabelle 1. Untersuchte Moderatorvariablen und deren Beschreibung.

[table id=1 /]

Was findet diese Studie heraus?

Insgesamt zeigt sich in dieser Metaanalyse ein sehr kleiner positiver Effekt zugunsten von Lernangeboten mit digitalen Anwendungen (d = 0.16).

Zum einen zeigen die differenzierten Analysen der Moderatorvariablen, dass es keinen signifikanten Unterschied dahingehend gibt, ob Studien (1) in der Primar- oder Sekundarstufe, (2) in Schulen mit unterschiedlichen Verteilungen im sozioökonomischen Status der SchülerInnen, oder (3) in unterschiedlichen Jahrzehnten durchgeführt wurden. Zwar weisen Studien aus den früheren Jahrzehnten etwas höhere Effektstärken auf als neuere Studien, jedoch ist diese Tendenz zu gering, um als bedeutsam gelten zu können.

Zum anderen ergeben die Moderatoranalysen, dass computerbasierte Ergänzungsprogramme (mehr als 70 % aller einbezogenen Studien) eine höhere Effektstärke (d = 0.19) aufweisen als die beiden anderen Arten der digitalen Anwendung (Lernmanagementsysteme: d = 0.09; curriculum-bezogene Lernprogramme: d = 0.06). Auch für Lernangebote, deren Dauer mehr als 30 Minuten pro Woche umfasste, zeigen sich größere Effekte (d = 0.14/0.20) als bei Maßnahmen mit geringerer Intensität (d = 0.06). Besonders große Unterschiede in den Effektstärken ergeben sich für die Qualität der Implementation: Gaben die Autoren der Studien an, dass die Interventionen den Vorgaben entsprechend umgesetzt wurden, konnten doppelt so große Effekte (d = 0.26) erzielt werden als bei weniger exakter Umsetzung der Intervention (d = 0.12).

Zuletzt zeigen die detaillierten Analysen, dass methodische Aspekte der Untersuchung, wie die Art des Studiendesigns und die jeweilige Stichprobengröße, ebenfalls einen signifikanten Einfluss auf die Effektstärke haben. Bei Studien mit randomisierter Zuteilung und bei Studien mit größeren Stichproben sind die Effekte nur halb so groß (d = 0.08/0.12), verglichen mit Studien mit quasi-experimentellem Design und kleinen Stichproben (d = 0.20/0.26). Dadurch zeigt sich, dass selbst bei einer strikten Auswahl hochwertiger Studien methodische Aspekte weiterhin eine Rolle spielen und sich das Muster (kleinere Effektgrößen bei strengeren Kriterien) bestätigt.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Orientiert man sich an der gängigen Einteilung nach Cohen (1988), so werden Effekte ab einer Effektgröße von d  ≥  0.20 als klein gewertet. Der aktuelle durchschnittliche Effekt aller Primärstudien (d = 0.16) ist geringer. Es besteht demnach kaum ein Unterschied zwischen Lernangeboten mit digitalen Anwendungen und entsprechenden Vergleichsangeboten, wenn diese mehr als 12 Wochen an Schulen eingesetzt werden. Dieser Befund entspricht dem aktuellen Forschungsstand: Andere hochwertige Meta-Analysen sowie aktuelle Large-Scale-Studien kommen zu ähnlichen Ergebnissen.

Wie differenziert sind die Ergebnisse dargestellt?

Die Differenziertheit der berichteten Effekte wird von der Clearing House Unterricht Research Group anhand der Schulfächer, Jahrgangsstufen und abhängigen Variablen eingeschätzt. Die Metaanalyse fokussiert sich hier ausschließlich auf das Schulfach Mathematik und auf Schülerleistung als einzige abhängige Variable. Die Ergebnisse werden differenziert für Primar- und Sekundarstufe dargestellt.

Wie verallgemeinerbar sind die Befunde?

Inwiefern der Gesamteffekt verallgemeinerbar ist, untersuchen die Autoren mithilfe von Moderatoranalysen. Signifikante Unterschiede bei den Effekten ergeben sich für die verschiedenen Arten von digitalen Anwendungen, die Intensität der jeweiligen Anwendung und für die Qualität der Implementation. Das bedeutet, dass die Effekte von diesen Bedingungen beeinflusst und deshalb nicht im Sinne eines einheitlichen Gesamteffektes generalisierbar sind. Keine Einschränkung für eine Generalisierbarkeit des Gesamteffekts liegt ausschließlich für die Jahrgangsstufe und die so-zioökonomische Zusammensetzung der Schülerschaft vor.

Außerdem ist zu erwähnen, dass ausschließlich amerikanische Studien Eingang in die Untersuchung fanden und somit keine Aussagen getroffen werden können, inwiefern sich die Befunde auf andere Länder, Schulsysteme und deren jeweilige digitale Anwendungen übertragen lassen. Hinzu kommt, dass ein Großteil der einbezogenen Studien bereits einige Jahre zurückliegt (die aktuellste Studie ist von 2010). Dies lässt keine Aussagen über die Effektivität aktueller digitaler Anwendungen zu, was bei den neuesten technischen Entwicklungen nicht unerheblich ist.

Was macht die Metaanalyse wissenschaftlich relevant?

Ein wissenschaftliches Kernthema dieser Metaanalyse ist die Frage, inwiefern methodische Unterschiede (wie beispielweise im Studiendesign) der Primärstudien die Ergebnisse beeinflussen. Die Autoren weisen hier nach, dass selbst bei einer strengen Auswahl an Primärstudien der Einfluss methodischer Faktoren in den Ergebnissen nachweisbar ist: Studien mit randomisierter Zuteilung und größeren Stichproben berichten signifikant kleinere Effekte als Studien mit nicht-randomisierter Zuteilung und kleineren Stichproben.

Mit ihren Analysen weisen die Autoren darauf hin, wie bedeutsam die Entscheidung für oder gegen ein bestimmtes Studiendesign für die Ergebnisse sein kann (siehe auch Cheung & Slavin, 2016). Für die vorliegende Metaanalyse ist davon auszugehen, dass sie – aufgrund der strengeren Auswahlkriterien – verlässlichere Befunde zur Wirksamkeit von digitalen Anwendungen im Schulunterricht liefert als bisherige Metaanalysen.

Wie methodisch verlässlich sind die Befunde?

Die Offenlegung und Begründung des methodischen Vorgehens entspricht weitgehend den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards). Demzufolge sind die einzelnen Schritte des Erstellungsprozesses der Metaanalyse (Recherche, Studienauswahl, Kodierung und statistische Analyse) überwiegend transparent und nachvollziehbar beschrieben.

Weitere Informationen zu den Beurteilungskriterien finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Digitale Lernangebote, die länger als 12 Wochen an Schulen eingesetzt werden, wirken sich laut dieser Metaanalyse tendenziell positiv auf die Schülerleistung in Mathematik aus. Etwas größere Effekte erzielen dabei Anwendungen, die von Schülerinnen ergänzend zum regulären Schulunterricht eingesetzt werden. Verstärken lassen sich die positiven Effekte weiterhin, indem SchülerInnen das Lernangebot intensiver nutzen (siehe Studienbeispiel) und Lehrkräfte die Programme möglichst getreu der Richtlinien der HerstellerInnen oder WissenschaftlerInnen einsetzen.

Die Befunde zeigen aber auch, dass zu Vergleichsangeboten ohne digitale Elemente bisher kaum Effektivitätsunterschiede bestehen. Dies könnte auch damit zu tun haben, dass die einbezogenen Primärstudien bereits einige Jahre zurückliegen. So schafft der rapide technische Fortschritt ständig bessere und günstigere Angebote und zugleich gewinnen Lehrkräfte an Erfahrung im Umgang mit digitalen Anwendungen. Man kann also mit Spannung neuere Befunde erwarten, die klären, ob SchülerInnen aktuell mehr von digitalen Möglichkeiten im Mathematikunterricht profitieren als bisher nachgewiesen.

Studienbeispiel

Ysseldyke und Bolt (2007) testeten in ihrer Studie die Lernmanagementsoftware »Accelerated Math« über ein gesamtes Schuljahr hinweg. Diese Software unterstützt Lehrkräfte dabei, den Lernfortschritt ihrer SchülerInnen anhand der bearbeiteten Aufgaben zu überwachen, Lernziele entsprechend anzupassen und geeignete Übungsaufgaben für die Lernenden auszuwählen. Bei der Umsetzung wurde auf der Basis der erreichten Zwischenziele eines Lernenden ermittelt, wie intensiv das Programm eingesetzt wurde.

Es zeigte sich, dass ausschließlich diejenigen SchülerInnen von der Maßnahme profitierten, die das Programm häufiger und länger nutzten. Sie schnitten beim Vergleich standardisierter Testwerte, die zu Beginn und am Ende des Schuljahres ermittelt wurden, signifikant besser ab. Dabei ergab sich bei rund 2.000 teilnehmenden Primar- und SekundarschülerInnen ein kleiner bis mittlerer Effekt (d = 0.30-0.50).

Referenzen und Links

Podcast

Downloads